promptflow [功能请求]为非OpenAI模型的追踪添加令牌指标

u5i3ibmn  于 1个月前  发布在  其他
关注(0)|答案(1)|浏览(26)

您的功能请求是否与问题相关?请描述。

我目前正在使用Phi-3 mini运行实验(弹性流程),并希望跟踪提示和完成令牌的数量,作为我的实验的一部分。OpenAI的跟踪视图显示每次调用的令牌数和总令牌数,我希望能很容易地将其他模型与此集成。

描述您希望实现的解决方案

在非OpenAI模型(如Phi-3)的调用中跟踪令牌消耗的方法或文档。在这种情况下,我认为应用程序代码必须计算令牌数量,但应该有一个辅助方法将令牌信息格式化为适当的格式并发送到跟踪UI。

描述您考虑过的替代方案

将令牌使用计算为流程的一部分,并将其作为流程输出响应的字段添加。这样它们将以列的形式显示(我可以使用聚合方法进行汇总),但当我最终部署时,它也会向任何消费应用程序暴露这些信息。

vddsk6oq

vddsk6oq1#

感谢您联系我们,我们将保持此项的开放状态,因为这需要长期的工作量。如果对此问题有任何后续行动,我们将更新此项。

相关问题