[Bug]: GPTCache 只缓存并考虑 "user" 角色部分消息,用于 OpenAI,

lf3rwulv  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(45)

当前行为:
OpenAI提示包含用户角色和系统角色消息,例如:
message = [
{"role": "system", "content": " You are AI assistant to help answer question"},
{"role": "user", "content": "What is capital of USA?" }
]
但是gptCache只考虑并缓存"user"角色部分。如果两条消息具有相同的"user"消息但不同的"system"消息,它们将被视为相同的项目,并且缓存的结果将被两者使用。
预期行为:
如果两条消息具有相同的"user"消息但不同的"system"消息,它们绝对不能被视为相同的缓存项。
重现步骤:

  • 无响应*

环境:

Ubuntu 22.04 x64

其他事项:

  • 无响应*
jucafojl

jucafojl1#

你可以使用不同的pre_process_fun,例如:all_content

5rgfhyps

5rgfhyps2#

感谢!使用这个功能是有效的。我认为它应该默认启用。

相关问题