您的功能请求是否与问题相关?请描述。
目前提供的评分模型仅有Cohere和Jina,两者都是远程模型,需要API密钥和远程REST调用。
描述您希望的解决方案
理想情况下,我们应该能够使用本地ONNX运行时进行重新排序,就像我们现在可以使用OnnxEmbeddingModel创建嵌入一样。基本上,我希望也能实现一个OnnxScoringModel。
OnnxEmbeddingModel
OnnxScoringModel
sf6xfgos1#
我写了一篇类似的文章,以OnnxEmbeddingModel为模型,使用本地的bge reranker large进行测试。如果有任何问题,请随时纠正我。参见$x_{1e0f1}x$
7uzetpgm2#
太棒了,这看起来非常像我正在寻找的,谢谢!我会尝试一下👍你打算为它创建一个PR吗?
2条答案
按热度按时间sf6xfgos1#
我写了一篇类似的文章,以OnnxEmbeddingModel为模型,使用本地的bge reranker large进行测试。如果有任何问题,请随时纠正我。参见$x_{1e0f1}x$
7uzetpgm2#
太棒了,这看起来非常像我正在寻找的,谢谢!我会尝试一下👍
你打算为它创建一个PR吗?