one-api 在使用英伟达提供的API时，只能输出前几个字,

uqjltbpv 于 2个月前发布在其他

关注(0)|答案(8)|浏览(46)

英伟达官网提供的API,国内可以直接访问https://build.nvidia.com/explore/discov,并且是免费的，还不错。我用的是llama3-70B。
我使用curl是可以输出完整的，但在本地编译one-api后运行的，就只能输出前几个字。
one-api中的测试功能是可以过去的，因为是通的，只不过输出不完整。
如图：

one-api

来源：https://github.com/songquanpeng/one-api/issues/1351

8条答案

按热度按时间

x7rlezfr1#

复现了，但是官方就是这样的。

赞(0）回复(0）举报 2个月前

8mmmxcuj2#

已经复现了，但是官方就是这样的。
我用curl命令行是可以正常输出的，好奇怪啊😳

赞(0）回复(0）举报 2个月前

lqfhib0f3#

可以截图看看。

赞(0）回复(0）举报 2个月前

wbrvyc0a4#

为什么我在One-API里测试都是404?

赞(0）回复(0）举报 2个月前

yiytaume5#

我也遇到这个问题，可能是 max_tokens 的默认值为0?

在社区开了个帖子 ,反馈了这个问题~

赞(0）回复(0）举报 2个月前

qltillow6#

为什么我在one-api里测试都是404？ https://integrate.api.nvidia.com/v1/chat/completions
我测了正常： https://integrate.api.nvidia.com

赞(0）回复(0）举报 2个月前

tyky79it7#

为什么我在One-API里测试都是404?

我测了正常：

方便截图一下你的渠道配置吗？

赞(0）回复(0）举报 2个月前

vfh0ocws8#

渠道配置：


![](//img.saoniuhuo.com/images/202408/48251723541665977.jpg)

使用该渠道时，要指定参数  `max_tokens`

![](//img.saoniuhuo.com/images/202408/95391723541669034.jpg)

赞(0）回复(0）举报 2个月前

我来回答

one-api 在使用英伟达提供的API时，只能输出前几个字,

8条答案

相关问题

热门标签

最新问答