例行检查
- 我已确认目前没有类似问题
- 我已确认我已升级到最新版本
- 我已完整查看过项目 README,已确定现有版本无法满足需求
- 我理解并愿意跟进此问题,协助测试和提供反馈
- 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的问题可能会被无视或直接关闭
功能描述
即使选择了16k/32k的模型,根据token长度自动回退至标准模型(gpt-4, gpt-35-turbo)。
应用场景
即便没有用到4k以上的token,16k/32k的模型单位价格通常更贵。这样做的好处是节省资源消耗,并且对客户端透明。
2条答案
按热度按时间ruarlubt1#
目前尚不清楚模型的能力是否完全一致。
new9mtju2#
这个操作从客户端实现不是更合理和透明?