你想添加什么内容？
我正在使用GPTCache服务器，并主要使用/put和/get。在我的用例中，有多个用户使用这个服务器。我想为每个请求添加上下文，可以是任何内容，如id或request_id,以便put和get根据该内容进行添加或查找。
示例：/put的正文可能如下所示：
{
"prompt": "hello",
"answer" : "Hi there!",
"id": "abc123"
}以下将返回答案，因为它与相同的id缓存在一起/get
{
"prompt": "hi",
"id": "abc123"
}以下即使缓存了id也永远不会返回任何答案/get
{
"prompt": "hi",
"id": "xyz567"
}为什么需要这个？
我的应用程序使用GPTCache服务器，它是多租户的。我可以有多个用户/组织/项目，它们不想在它们之间共享缓存。
还有其他要补充的吗？
- 无响应*
4条答案
按热度按时间4ktjp1zp1#
好主意！
p1iqtdky2#
我同意，因为我也遇到过这个问题，现在同样的内容不能从多个会话中分离出来。
但是在做出任何更改之前，可以将其区分为以下几种情况：
每次添加缓存时，可以在内容前面添加一个标识ID,并且在查询时也可以连接这个标识ID。例如，在添加时：{ID} Hello,在查询时：{ID} Hello。
cotxawn73#
我同意，因为我也遇到过这个问题，现在相同的内容不能从多个会话中分离出来。
但是在做出任何更改之前，可以将其区分为以下几类：
每次添加缓存时，可以在内容前面添加一个标识ID,并且在查询时也可以连接这个标识ID。例如，添加：{ID} Hello 和查询：{ID} Hello。
我以前尝试过这样做。我开始缓存提示和响应，就像
{user_id} {prompt}一样，然后进行查询。它有太多的误报。示例：
提示：“132 Hello”，“133 Hello”与相同的响应匹配。
我认为由于它是基于向量的(语义匹配),所以不能进行严格的匹配，这导致了错误的匹配。但我也可能是错的。
rlcwz9us4#
我们正在维护我们的分叉，并在那里添加了多租户功能：NumexaHQ@41aae69