DeepSpeed-MII 如果使用非常长的提示查询服务器,服务器会变成损坏状态,

bcs8qyzn  于 6个月前  发布在  其他
关注(0)|答案(1)|浏览(87)

我使用大约7K字符的提示查询了服务器,之后服务器变成了一些损坏的状态。我找到的唯一修复方法是重启MII服务器。

toe95027

toe950271#

你好,@tim,感谢你报告这个问题。你能分享一些额外的信息吗?这样我才能重现这个问题并提供一个修复方案。你在使用哪个模型?在运行generate()时,你是增加了max_length参数吗?

相关问题