ollama API端点用于编码和解码令牌

pgccezyw  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(28)

请请了解的人去添加,以便让内部的llamacpp编码端点对Ollama API可用。这样我们就可以使用llm分词器来准确测量我们正在使用的上下文,从而可以在我们的内存中进行选择和挑选,而不是仅从消息的开头进行裁剪。

相关问题