one-api 增加每次调用上游的总耗时时间

fnatzsnv  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(40)

例行检查

  • 我已确认目前没有类似 issue
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,已确定现有版本无法满足需求
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
    功能描述

在日志界面里,增加一个调用耗时的字段,可以显示从开始请求上游地址,一直到获取了完整的响应结果,一共用了多长时间,可以以秒为单位。

应用场景

有几方面:
1.观察官方模型的运行是否平稳,是否出现卡顿、变慢等情况。
毕竟chatGPT经常变慢、出错,已经出现过很多次了。
2.对比模型之间的速度,例如3.5最新的1106版本与老的0613版本,之间的速度对比,给是否要过度到最新版多一个指标参考。
3.使用多个第三方平台,尤其是open ai的,平台账号质量参差不齐。
观察耗时信息,就可以排除那些质量不佳的平台

wd2eg0qa

wd2eg0qa1#

可以考虑,但目前会优先专注在更要紧的事情,望理解。

相关问题