GPTCache [特性]:支持更多配置的openAI模型

c7rzv4ha  于 2个月前  发布在  其他
关注(0)|答案(3)|浏览(46)

您的功能请求是否与问题相关?请描述。

由于openAI文档的限制,我们错过了一些主要参数,请参考:
https://platform.openai.com/docs/api-reference/completions/create

  1. max_tokens? 目前先绕过GPT
  2. temperature: 我们可以采取以下几种方法:
  3. 如果返回结果非常相似,随机选择一个答案。
  4. 使用另一个小模型编辑答案:例如,将图像转换为文本。
  5. n -> 如果缓存中没有足够的结果,我们仍然需要从OpenAI生成。
  6. bestof -> 控制我们希望从缓存中检索的前k个数字。

请描述您希望采用的解决方案。

  • 无响应*

请描述备选解决方案。

  • 无响应*

还有其他需要说明的内容吗?(附加信息)

  • 无响应*
9o685dep

9o685dep1#

正在处理 temperature

ezykj2lf

ezykj2lf2#

function_call="auto" 中的 openai.ChatCompletion.create(...) 是否受支持?

wlwcrazw

wlwcrazw3#

我还没有时间尝试这个功能。但是我有点困惑,根据openai对function_call: "auto"的定义:
请注意,默认行为(function_call: "auto")是让模型自己决定是否调用一个函数以及如果调用的话应该调用哪个函数。
如果问题是关于天气的,那么每天得到的答案应该是不一致的。也就是说,如果函数执行的结果会继续改变,那么缓存似乎没有意义。如果函数执行的结果保持不变,那么这个参数似乎不需要任何额外的处理,当前的缓存似乎正常工作。
不确定你对这个参数还有什么其他想法。

相关问题