描述bug
相似度评估器在响应中的第一个标记是"Text",promptflow无法将文本转换为整数。
如何重现bug
重现该行为所需的步骤,您可以多频繁地遇到这个问题:
- 调用promptflow的evaluate方法,并将json文件作为输入。由于这是客户数据,我们无法共享确切的数据。
预期行为
对您期望发生的事情进行清晰简洁的描述。
它应该根据提示返回1到5之间的数字 - https://github.com/microsoft/promptflow/blob/main/src/promptflow-evals/promptflow/evals/evaluators/_similarity/similarity.prompty
截图
如果适用,请添加截图以帮助解释您的问题。
运行信息(请填写以下信息):
- promptflow包版本使用
pf -v
:[例如0.0.102309906]:
{
"promptflow": "1.12.0",
"promptflow-azure": "1.13.0",
"promptflow-core": "1.12.0",
"promptflow-devkit": "1.12.0",
"promptflow-evals": "0.3.0",
"promptflow-tracing": "1.12.0"
}
- 操作系统:[例如Ubuntu 20.04, Windows 11] : Windows 11
- 使用
python --version
的Python版本:[例如python==3.10.12] Python (Windows) 3.11.9 (tags/v3.11.9:de54cf5, Apr 2 2024, 10:12:12) [MSC v.1938 64 bit (AMD64)]
其他上下文
在此问题上添加任何其他有关问题的上下文。
1条答案
按热度按时间xdyibdwo1#
你能分享一下你使用的模型版本吗?这通常是通过预览OpenAI模型来实现的。