one-api 通义千问空请求,

iugsix8n  于 5个月前  发布在  其他
关注(0)|答案(7)|浏览(55)

例行检查

  • 我已确认目前没有类似 issue
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,尤其是常见问题部分
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

问题描述
使用最新release 0.65 docker 部署,已经使用快一个月了,其中添加了多个第三方api,添加了deepseek官方api,一直正常,大部分都是通过模型重定向来使用的。今日添加了通义千问,模型重定向 "gpt-3.5-turbo-0125": "qwen-long"。使用nextchat发起对话,不知道什么情况下,会触发空请求,对话返回如下,one-api中日志显示如下。同时,在终端中测试直接访问通义千问官方api,如下正常。next-chat中测试不知道什么情况下触发。但是我同时还在使用一个安卓第三方app,使用其他模型都正常,但是这个重定向的模型,必现,抓包看也没什么异常。但是响应确实是空的。

复现步骤:使用这个第三方app必现,next-chat有几率出现。

预期结果:

相关截图:如果没有的话,请删除此节。

1zmg4dgp

1zmg4dgp1#

经过测试,通义千问兼容性存在问题。这些参数在客户端发起时,在openai/deepseek上都是正常的,但是放到通义千问上会报错。如果删除"frequency_penalty":0.0,"max_tokens":2048,"presence_penalty":0.0,"top_p":1.0这些参数,就正常了。

jexiocij

jexiocij2#

我也遇到这个问题

pkmbmrz7

pkmbmrz74#

阿里云代理的零一万物、百川2等大模型上都存在类似的空请求bug,dashscope提供的openai兼容API似乎也存在。

zte4gxcn

zte4gxcn5#

可以尝试使用higress实现的OpenAI协议兼容,纯流式的。function call也是流式的,不是直接使用dashscope的兼容API,应该没有类似问题。

kuhbmx9i

kuhbmx9i6#

在平常使用的Windows工作机上,使用docker compose部署失败,仍然出现fetch failed的情况,偶尔还会遇到higress相关issue里的其他问题。

efzxgjgh

efzxgjgh7#

@KagaJiankui 如果有具体问题,请在这里发布:alibaba/higress#1023

相关问题