DeepSpeed-MII 支持在推理过程中使用采样时的重复惩罚

vh0rcniy  于 3个月前  发布在  其他
关注(0)|答案(1)|浏览(58)

我无法在使用采样进行推理时设置重复惩罚。如果它已经被支持,您能告诉我如何使用它吗?

liwlm1x9

liwlm1x91#

我们当前版本不支持重复惩罚。但在未来的版本中,我们可以添加这个功能。

相关问题