promptflow [BUG] 评估器以NaN值作为第一个标记,因为它是一个文本

mnowg1ta  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(39)

描述bug

相似度评估器在响应中的第一个标记是"Text",promptflow无法将文本转换为整数。

如何重现bug

重现该行为所需的步骤,您可以多频繁地遇到这个问题:

  1. 调用promptflow的evaluate方法,并将json文件作为输入。由于这是客户数据,我们无法共享确切的数据。

预期行为

对您期望发生的事情进行清晰简洁的描述。
它应该根据提示返回1到5之间的数字 - https://github.com/microsoft/promptflow/blob/main/src/promptflow-evals/promptflow/evals/evaluators/_similarity/similarity.prompty

截图

如果适用,请添加截图以帮助解释您的问题。

运行信息(请填写以下信息):

  • promptflow包版本使用pf -v:[例如0.0.102309906]:

{
"promptflow": "1.12.0",
"promptflow-azure": "1.13.0",
"promptflow-core": "1.12.0",
"promptflow-devkit": "1.12.0",
"promptflow-evals": "0.3.0",
"promptflow-tracing": "1.12.0"
}

  • 操作系统:[例如Ubuntu 20.04, Windows 11] : Windows 11
  • 使用python --version的Python版本:[例如python==3.10.12] Python (Windows) 3.11.9 (tags/v3.11.9:de54cf5, Apr 2 2024, 10:12:12) [MSC v.1938 64 bit (AMD64)]
    其他上下文

在此问题上添加任何其他有关问题的上下文。

xdyibdwo

xdyibdwo1#

你能分享一下你使用的模型版本吗?这通常是通过预览OpenAI模型来实现的。

相关问题