你的功能请求是否与问题相关?请描述。
由于OpenAI的速率限制,向OpenAI发起批量请求变得困难。有时也会抛出一些不直接反映用户速率限制的错误。
如果脚本循环遍历大量数据并为每个数据点发起一个请求,脚本可能会崩溃,现有的响应将丢失(浪费时间和金钱)。
我经常遇到的两个错误是 openai.error.RateLimitError
和 openai.error.APIConnectionError
。
描述你希望实现的解决方案。
在对openai错误做出自动重试的React。客户端代码完全不必担心重试逻辑(计时、错误处理等)。
描述另一种解决方案。
缓存现有的响应,以便后续请求可以从脚本崩溃的地方继续。
还有其他需要说明的吗?(附加信息)
- 无响应*
1条答案
按热度按时间tvz2xvvm1#
感谢你的建议,我会尝试改进。