GPTCache [功能]:高级OpenAI错误处理

dffbzjpn  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(51)

你的功能请求是否与问题相关?请描述。

由于OpenAI的速率限制,向OpenAI发起批量请求变得困难。有时也会抛出一些不直接反映用户速率限制的错误。
如果脚本循环遍历大量数据并为每个数据点发起一个请求,脚本可能会崩溃,现有的响应将丢失(浪费时间和金钱)。
我经常遇到的两个错误是 openai.error.RateLimitErroropenai.error.APIConnectionError

描述你希望实现的解决方案。

在对openai错误做出自动重试的React。客户端代码完全不必担心重试逻辑(计时、错误处理等)。

描述另一种解决方案。

缓存现有的响应,以便后续请求可以从脚本崩溃的地方继续。

还有其他需要说明的吗?(附加信息)

  • 无响应*
tvz2xvvm

tvz2xvvm1#

感谢你的建议,我会尝试改进。

相关问题