one-api 是否可以有接口或回调方法来获取每次调用一个key后产生的tokens耗费信息?

gt0wga4j  于 2个月前  发布在  其他
关注(0)|答案(4)|浏览(32)

例行检查

  • [x] 我已确认目前没有类似 issue
  • [xx] 我已确认我已升级到最新版本
  • [x] 我已完整查看过项目 README,已确定现有版本无法满足需求
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

功能描述:
我在其他项目里面已经把 chatgpt 的 api 的 key 和 url 地址修改成自己架设的 one-api 的相关url和 key ,并且成功运行了。现在有个需求:每次调用这个 one-api 进行流式问答后,能否有功能去获取这次问答扣除的原始 tokens 数量。这样就形成一个完美闭环功能了。

应用场景:
第三方程序使用 one-api 的 key 池管理后。能获取每次的原始耗费 tokens 数目,这样就可以结合自己的计费系统进行细化处理。

wvyml7n5

wvyml7n51#

要么加 API,要么修改返回体,要么修改返回的 Header,目前看修改 Header 最方便。

gtlvzcf8

gtlvzcf82#

如果数据流是stream的话,我个人认为你的思路:修改header是最方便的方法。在最后一个done的信息的head或者body里面加上一个耗用tokens数目。这样就不用api的调用方去做累加,获取耗费tokens的信息了。

5ssjco0h

5ssjco0h3#

OpenAI 的官方 API 也没有很好的解决这个问题。在非流式中倒是带有信息,但在流式中需要自己进行计算,非常麻烦。

voase2hg

voase2hg4#

客户端代码已经更新好了。请等待API更新。

相关问题