在使用DeepSpeed MII时，有一些参数在查询模型时不起作用，而在使用model.generate或使用huggingface pipelines时起作用。我也曾尝试单独使用DeepSpeed inference这些参数，发现它们也能正常工作。
对我来说有问题的参数是num_beams和bad_words_ids,但可能还有其他参数。我发现do_sample、max_length、min_length、top_k、top_p、temperature、repetition_penalty和early_stopping不会引起问题，但也可能有其他参数会。
3条答案
按热度按时间ryhaxcpt1#
在这一点上，我们支持通过查询传递的具有
int、float、bool或str类型的kwargs(参见DeepSpeed-MII/mii/grpc_related/proto/modelresponse.proto
Line 34 in 4040dae
| messageValue { |
)
这意味着
num_beams应该可以工作，但我们不支持bad_words_ids作为类型是Iterable[int]。您能否与
num_beams分享您看到的错误？谢谢
tktrz96b2#
我相信num_beams是我自己的错误。
有计划支持列表吗？如果添加了列表，我认为所有参数都将得到支持。
ulmd4ohb3#
num_beams对我不起作用。我得到了错误：