这是重要的。有没有解决这个问题的方法？如果PromptFlow不能进行批量处理，我们就不能将其作为端点使用。

你好，@adampolak-vertex 感谢你报告这个问题。目前，promptflow仅支持批量运行输入，每个输入都是一个单独的llm调用。要在提示中聚合多个输入为一个，也许你可以尝试将输入定义为list类型以获得一堆输出。

你好，@adampolak-vertex 感谢你报告这个问题。目前，promptflow 只支持将多个输入作为单个llm调用进行批量运行。要在提示中聚合多个输入为一个，你可以尝试将输入定义为 list 类型以获得一堆输出。

Bryan 谢谢你的反馈。我们已经研究过包括一个列表类型，它可以接受对象。我们发现这种方法存在以下问题：

• 我们需要将我们的csv/jsonl评估转换为适应这种新格式
• 尽管这不是一个大问题，可以用一个简单的脚本解决，但现在随着评估规模的增加，需要工程努力来处理
• 我们不能再使用PromptFlow的默认评估 Jmeter 板
• 现在 Jmeter 板上出现的每一行都是15+分类的聚合，无法再用于审查准确性，我们需要构建一个自定义 Jmeter 板来读取日志文件并“展开”分类列表
• 现在我们需要两个服务来“ Package ”PromptFlow端点
• 一个服务来创建适当的列表以便访问PromptFlow端点
• 一个服务来获取PromptFlow端点的输出并“展开”它们进行下游处理

请告诉我我提到的任何问题是否可以通过其他方式解决。

是的，你提到的问题是真实的。此外，我想补充一点，如果我们支持在一个提示中聚合批量输入并发送调用，为了保持输入和输出之间的关系，我们将不得不读取和分析llm输出，这可能会导致一些合规性问题，对于某些客户来说被认为是不安全的。
因此，从我们的Angular 来看，如果用户没有令牌方面的担忧，我们仍然鼓励他们利用批量运行的能力。我们不会读取/分析任何用户的输入和llm输出。

是的，你提到的问题是真实的。此外，我想补充一点，如果我们支持在一个提示中聚合批量输入并发送调用，为了保持输入和输出之间的关系，我们将不得不读取和分析llm输出，这可能会导致一些合规性问题，对于某些客户来说被认为是不安全的。
因此，从我们的Angular 来看，我们仍然鼓励用户在没有令牌问题的情况下利用批量运行能力。我们不会读取/分析任何用户的输入和llm输出。
是的，我也在考虑这个问题，并为输入添加了一个“id”字段以解锁批处理。
如果你有：

1. “aggregate”模块，用户可以在管道开始时或任何时候定义输入字段的“id”字段，以及要聚合的行数

• 这将创建一个对象列表

1. “unwind”模块，用户可以识别输出中哪个字段是输出对象列表的“id”
   PromptFlow端点正在摄取JSON,所以它不会影响用户体验，因为常规用例本来就是JSON对象。通过流程向你的JSON对象添加一个“key”，作为日志记录或下游管道的“id”，这是常规用例可能有的方式。

感谢您的建议。目前我们的“聚合”概念有很多限制，例如如果将流程部署为端点，则此节点不会被执行，因此您提到的“聚合”和“展开”对于流程来说是一个很大的新事物，需要对体验进行详细设计。
我们会保持这个问题开放，看看是否有任何客户有与您类似的需求，然后计划下一步。再次感谢您的反馈，我们非常感激。