one-api 支持llama3么,有个小程序接入模型接口,不包括llama,想用openai解决,第三方买的llama APPI

xam8gpfp  于 2个月前  发布在  其他
关注(0)|答案(7)|浏览(45)

例行检查

  • 我已确认目前没有类似 issue
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,已确定现有版本无法满足需求
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

功能描述

应用场景

tktrz96b

tktrz96b2#

收到,已经完成部署,openai和grok测试都通过。但是有一个deepinfra.com的账号,购买了key。在oneapi的接口怎么填都通不过测试。我填的是https://api.deepinfra.com/v1。官方指导文件:https://deepinfra.com/meta-llama/Meta-Llama-3-70B-Instruct/api?example=js-text-gen。,谢谢先。

lbsnaicq

lbsnaicq3#

是不是模型名称问题

vm0i2vca

vm0i2vca4#

看了下例程,是调用格式跟OpenAI不匹配,得让oneapi适配这个渠道了

am46iovg

am46iovg5#

看了下例程,是调用格式跟OpenAI不匹配,得让oneapi适配这个渠道了
哦,谢谢。您的意思是 需要oneapi 官方适配一下deepinfra.com ,oneapi的用户才能正常用?

oymdgrw7

oymdgrw77#

确实,我也遇到了这个问题。在deepinfra.com上可以找到最新的nvidia/Nemotron-4-340B-Instruct模型。但是在oneapi上无法使用。

相关问题