langchain4j [特性] 添加对进程内(ONNX)评分模型的支持

de90aj5v  于 5个月前  发布在  其他
关注(0)|答案(2)|浏览(75)

您的功能请求是否与问题相关?请描述。

目前提供的评分模型仅有Cohere和Jina,两者都是远程模型,需要API密钥和远程REST调用。

描述您希望的解决方案

理想情况下,我们应该能够使用本地ONNX运行时进行重新排序,就像我们现在可以使用OnnxEmbeddingModel创建嵌入一样。基本上,我希望也能实现一个OnnxScoringModel

sf6xfgos

sf6xfgos1#

我写了一篇类似的文章,以OnnxEmbeddingModel为模型,使用本地的bge reranker large进行测试。如果有任何问题,请随时纠正我。参见$x_{1e0f1}x$

7uzetpgm

7uzetpgm2#

太棒了,这看起来非常像我正在寻找的,谢谢!我会尝试一下👍
你打算为它创建一个PR吗?

相关问题