GPTCache [特性]:如何执行缓存预热?

kt06eoxx  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(38)

您的功能请求是否与问题相关?请描述。

在使用GPTcache时,我目前有一些LLM请求和相应的答案。我想缓存并预热它们,以便程序在运行时可以直接匹配。
我希望使用类似的匹配方式。默认情况下,将构建sqlite数据库和faiss向量库。然而,没有合适的方法将我需要预热的数据放入这两个库中。
我尝试使用gptcache.update()函数进行此操作,但预热数据仅插入到sqlite中,faiss没有正确构建。

描述您希望的解决方案。

您能提供一个适当的方法来进行缓存预热操作吗?谢谢!

描述备选方案。

  • 无响应*

其他事项(附加上下文)

  • 无响应*

相关问题