FastGPT 是的,OneAPI支持转发阿里下的Llama3系列大模型,

y4ekin9u  于 2个月前  发布在  其他
关注(0)|答案(4)|浏览(119)

例行检查

  • 我已确认目前没有类似 issue
  • 我已完整查看过项目 README,以及 项目文档
  • 我使用了自己的 key,并确认我的 key 是可正常使用的
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • 公有云版本
  • 私有部署版本, 具体版本号:

问题描述, 日志截图

复现步骤

预期结果

相关截图

mzsu5hc0

mzsu5hc01#

会报错,是不是不支持转发llama3

q3aa0525

q3aa05252#

会报错,是不是不支持转发llama3?
有可能。curl测试测试就知道了。

hc2pp10m

hc2pp10m3#

试了直接curl镜像容器接口,stream为true有返回值;curl oneapi的接口3001,stream为true就没有返回值了,这是不是不正常啊?有啥日志能看返回值在哪里被搞没了吗?

tag5nh1u

tag5nh1u4#

相同的问题。当使用oneapi进行中转时,如果stream参数设置为true,没有返回值,且oneapi也没有报错信息。但是,如果将stream参数设置为false,则可以正常响应。

相关问题