描述bug
打开LLM工具时,当api为'completion'时,不允许指定'stop'参数。当使用completion api控制何时停止生成令牌时,此参数非常重要。
如何重现bug
重现行为的方法,您可以多频繁地体验到这个bug:
一直出现。
下面的截图显示了在使用'completion' api时无法设置'stop'参数的情况。
截图
- 在VSCode主侧边栏 > 提示流窗格 > 快速访问部分。找到"安装依赖项"操作。请执行它并在那里附上截图。
环境信息
- 使用
pf -v
的Promptflow包版本:1.6.0
- 操作系统:
13.6.4 (22G513)
- 使用
python --version
的Python版本:3.11.8
- VS Code版本:
1.87.2
- Prompt Flow扩展版本:
v1.14.0
- 在VS Code底部窗格 > 输出枢轴 > "prompt flow"通道中,查找与问题相关的错误消息并将它们粘贴在这里。这对我们的故障排除很有帮助。
- 如果您要公开重现问题的代码并与我们共享,请分享链接。
其他上下文
在此添加有关问题的任何其他上下文。
4条答案
按热度按时间nle07wnf1#
这是一个特性请求,而不是扩展错误。在 open_model_llm.yaml 中没有描述
stop
参数。@dans-msft@Adarsh-Ramanathan 请帮忙看一下,谢谢。
iezvtpos2#
你好@Joouis,谢谢你的回复。让我澄清一下,我将这个问题归类为一个bug,因为目前这个工具提供了一个完成API下拉菜单选项,但实际上无法在实践中使用Llama 2 7b完成模型(与聊天模型不同),我认为这会影响到任何完成模型,但我没有尝试过。
作为解决方法,我正在使用Python节点。
hm2xizp93#
@Joouis,我认为这个错误地分配给了其他人-根据这个仓库中的其他openLLM错误,正确的所有者可能是@youngpark。
dgjrabp24#
请youngpark查看一下开放式模型LLM的问题。