例行检查
* 我已确认目前没有类似 issue
* 我已确认我已升级到最新版本
* 我已完整查看过项目 README,已确定现有版本无法满足需求
* 我理解并愿意跟进此 issue,协助测试和提供反馈
* 我理解并认可上述内容,并理解项目维护者精力有限,**不遵循规则的 issue 可能会被无视或直接关闭**
背景
目前大模型的更新十分频繁,各家的接口又不太一样,经常出现新模型出来无法接入的情况。
解决方案
增加一个自定义模型接口,与目前功能里的自定义不一样,这个自定义接口不需要对输入输出进行任何的处理,仅需做3件事:
1. 根据 model 识别对应的 baseUrl 和 Auth
2. 替换请求的 baseUrl 和 Auth
3. 转发请求到新的地址
如果想计费的话,可以增加一个按次计费作为临时计费方案。有时间再去兼容对应的 token 获取。
应用场景
1. 新模型的为加入标准候选列表时也能使用。
2. 不在标准列表里的模型也能通过 oneapi 接入。
2条答案
按热度按时间mitkmikd1#
我不确定重构后是否能实现。我认为只需要给自定义模型添加一个特殊前缀就可以了。@songquanpeng
hgqdbh6s2#
了解了,我看一下。