FastGPT 希望能支持RouteLLM功能

zynd9foi  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(43)

例行检查

  • 我已确认目前没有类似功能
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,已确定现有版本无法满足需求
  • 我理解并愿意跟进此功能,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的功能可能会被无视或直接关闭
    功能描述

项目地址: https://github.com/lm-sys/RouteLLM
优势:
该方案通过一个系统首先处理每个查询,然后决定将其路由到哪个LLM。理想情况下,所有能够由功能较弱的模型处理的查询都应被路由到这些模型,而其他所有查询则应被路由到功能更强的模型,以此在保持响应质量的同时最小化成本。
@c121914yu

应用场景
相关示例

相关问题