DeepSpeed-MII 如何一次性生成多个响应?

goqiplq2  于 6个月前  发布在  其他
关注(0)|答案(1)|浏览(128)

在vllm中,它们提供了"n"参数来创建多个响应,但我在mii中找不到类似的参数。目前,我只能多次复制输入文本,然后将它们提供给mii客户端。

v6ylcynt

v6ylcynt1#

你好,@yangzhch6 -这不是我们现在公开的选项,但我确实打算很快添加它!

相关问题