one-api 增加自定义接口,从而增强项目的鲁棒性和兼容性

zlwx9yxi  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(27)
例行检查

* 我已确认目前没有类似 issue
* 我已确认我已升级到最新版本
* 我已完整查看过项目 README,已确定现有版本无法满足需求
* 我理解并愿意跟进此 issue,协助测试和提供反馈
* 我理解并认可上述内容,并理解项目维护者精力有限,**不遵循规则的 issue 可能会被无视或直接关闭**

背景
 目前大模型的更新十分频繁,各家的接口又不太一样,经常出现新模型出来无法接入的情况。

解决方案
增加一个自定义模型接口,与目前功能里的自定义不一样,这个自定义接口不需要对输入输出进行任何的处理,仅需做3件事:
1. 根据 model 识别对应的 baseUrl 和 Auth
2. 替换请求的 baseUrl 和 Auth
3. 转发请求到新的地址
如果想计费的话,可以增加一个按次计费作为临时计费方案。有时间再去兼容对应的 token 获取。

应用场景
1. 新模型的为加入标准候选列表时也能使用。
2. 不在标准列表里的模型也能通过 oneapi 接入。
mitkmikd

mitkmikd1#

我不确定重构后是否能实现。我认为只需要给自定义模型添加一个特殊前缀就可以了。@songquanpeng

hgqdbh6s

hgqdbh6s2#

了解了,我看一下。

相关问题