one-api 根据 token 长度自动回退至标准模型

3htmauhk  于 5个月前  发布在  其他
关注(0)|答案(2)|浏览(52)

例行检查

  • 我已确认目前没有类似问题
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,已确定现有版本无法满足需求
  • 我理解并愿意跟进此问题,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的问题可能会被无视或直接关闭

功能描述
即使选择了16k/32k的模型,根据token长度自动回退至标准模型(gpt-4, gpt-35-turbo)。

应用场景
即便没有用到4k以上的token,16k/32k的模型单位价格通常更贵。这样做的好处是节省资源消耗,并且对客户端透明。

ruarlubt

ruarlubt1#

目前尚不清楚模型的能力是否完全一致。

new9mtju

new9mtju2#

这个操作从客户端实现不是更合理和透明?

相关问题