例行检查
- 我已确认目前没有类似功能
- 我已确认我已升级到最新版本
- 我已完整查看过项目 README,已确定现有版本无法满足需求
- 我理解并愿意跟进此功能,协助测试和提供反馈
- 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的功能可能会被无视或直接关闭
功能描述
项目地址: https://github.com/lm-sys/RouteLLM
优势:
该方案通过一个系统首先处理每个查询,然后决定将其路由到哪个LLM。理想情况下,所有能够由功能较弱的模型处理的查询都应被路由到这些模型,而其他所有查询则应被路由到功能更强的模型,以此在保持响应质量的同时最小化成本。
@c121914yu
应用场景
相关示例
1条答案
按热度按时间e37o9pze1#
+1