在vllm中,它们提供了"n"参数来创建多个响应,但我在mii中找不到类似的参数。目前,我只能多次复制输入文本,然后将它们提供给mii客户端。
v6ylcynt1#
你好,@yangzhch6 -这不是我们现在公开的选项,但我确实打算很快添加它!
1条答案
按热度按时间v6ylcynt1#
你好,@yangzhch6 -这不是我们现在公开的选项,但我确实打算很快添加它!