您的功能请求是否与问题相关?请描述。
在使用GPTcache时,我目前有一些LLM请求和相应的答案。我想缓存并预热它们,以便程序在运行时可以直接匹配。
我希望使用类似的匹配方式。默认情况下,将构建sqlite数据库和faiss向量库。然而,没有合适的方法将我需要预热的数据放入这两个库中。
我尝试使用gptcache.update()函数进行此操作,但预热数据仅插入到sqlite中,faiss没有正确构建。
描述您希望的解决方案。
您能提供一个适当的方法来进行缓存预热操作吗?谢谢!
描述备选方案。
- 无响应*
其他事项(附加上下文)
- 无响应*
1条答案
按热度按时间5rgfhyps1#
也许你可以尝试使用
cache.import_data()
,参考:https://github.com/zilliztech/GPTCache/blob/main/tests/integration_tests/examples/sqlite_faiss_mock/test_example_sqlite_faiss.py。