这是一个将通用句子嵌入模型引入MLCEngine的全球跟踪问题。
6za6bjd01#
上下文 #1744
wko9yo5t2#
bge-m3是一个很好的候选者,因为它也支持稀疏嵌入模型。在端到端的流程中,我们发现将文本转换为嵌入的过程占用了大部分时间。(通过openai API将文本转换为嵌入需要100ms+,而向量搜索部分只需要10ms)。在本地拥有一个高效的嵌入模型将会很好。
2条答案
按热度按时间6za6bjd01#
上下文 #1744
wko9yo5t2#
bge-m3是一个很好的候选者,因为它也支持稀疏嵌入模型。在端到端的流程中,我们发现将文本转换为嵌入的过程占用了大部分时间。(通过openai API将文本转换为嵌入需要100ms+,而向量搜索部分只需要10ms)。在本地拥有一个高效的嵌入模型将会很好。