当前行为:
OpenAI提示包含用户角色和系统角色消息,例如:
message = [
{"role": "system", "content": " You are AI assistant to help answer question"},
{"role": "user", "content": "What is capital of USA?" }
]
但是gptCache只考虑并缓存"user"角色部分。如果两条消息具有相同的"user"消息但不同的"system"消息,它们将被视为相同的项目,并且缓存的结果将被两者使用。
预期行为:
如果两条消息具有相同的"user"消息但不同的"system"消息,它们绝对不能被视为相同的缓存项。
重现步骤:
- 无响应*
环境:
Ubuntu 22.04 x64
其他事项:
- 无响应*
2条答案
按热度按时间jucafojl1#
你可以使用不同的
pre_process_fun
,例如:all_content5rgfhyps2#
感谢!使用这个功能是有效的。我认为它应该默认启用。