one-api Azure OpenAI的gpt-4模型在回复时,可能会出现无法完全回复的情况,基本上只能回复开头的几个字,

bxgwgixi  于 2个月前  发布在  其他
关注(0)|答案(5)|浏览(34)
例行检查

* 我已确认目前没有类似 issue
* 我已确认我已升级到最新版本
* 我已完整查看过项目 README,尤其是常见问题部分
* 我理解并愿意跟进此 issue,协助测试和提供反馈
* 我理解并认可上述内容,并理解项目维护者精力有限,**不遵循规则的 issue 可能会被无视或直接关闭**

问题描述
Azure Openai的gpt-4模型的回复content会出现无法回复完全,基本上只回复开头的几个字,而gpt-35-turbo却不会出现这个问题,测试了几次一直都会复现,docker部署的,日志没看到有报错

复现步骤
Azure Openai的gpt-4模型的回复content会出现无法回复完全,基本上只回复开头的几个字,而gpt-35-turbo却不会出现这个问题

预期结果
正常回复

相关截图
这是4

![](//img.saoniuhuo.com/images/202407/87401721846361369.jpg)

这是3.5

![](//img.saoniuhuo.com/images/202407/46941721846362796.jpg)

如果没有的话,请删除此节。
nx7onnlm

nx7onnlm1#

我也遇到了这个问题,我认为有可能是在部署gpt-4模型时过高的TPM导致的。使用默认的TPM不会出现这个问题。

whitzsjs

whitzsjs2#

经过测试,问题并非出在TPM上,而是模型的问题。在使用gpt-4-vision-preview时会出现这种问题,但更换到gpt-4-1106后则不会出现这种问题。

wqlqzqxt

wqlqzqxt3#

经过测试,问题并非出在TPM上,而是模型的问题。在使用gpt-4-vision-preview时会出现这种问题,但更换到gpt-4-1106后就不会出现这种问题。

请问大家有用过response_format={“type”: “json_object”}吗?好像耗时会长很多。

56lgkhnf

56lgkhnf5#

GPT4 不支持流式传输。

相关问题