promptflow [功能请求]获取LLM节点的聊天/提示输入

whitzsjs  于 3个月前  发布在  其他
关注(0)|答案(2)|浏览(30)

您的功能请求是否与问题相关?请描述。

我想在我的数据库中记录不同运行的提示和LLM设置。但是,我发现promptflow在LLM节点中没有任何钩子来在运行之前检索输入或在运行后检索完整的提示。

描述您希望的解决方案

在运行LLM节点之前添加一个钩子或在运行后检索提示的方法。

描述您考虑过的替代方案

制作自定义工具连接LLM?或者在输入到LLM节点之前制定提示。为此,我需要放弃使用那些有用的功能,如变体。

附加上下文

在这里添加有关功能请求的其他上下文或屏幕截图。

vlurs2pr

vlurs2pr1#

这非常有帮助。此外,我认为我们需要应用程序集成或内部工具来接收和处理跟踪信息。

pxy2qtax

pxy2qtax2#

感谢您的反馈 @sparkdemotivator@ArtyomZemlyak!现在,LLM API请求/响应中的这些LLM设置和指标已暴露在每个节点运行的跟踪日志中。实际上,您在这个请求中并不孤单,因为其他用户也表达了类似的需求。我们已经注意到这一点,并将其作为开发路线图上的一项新功能请求。

相关问题