Baichuan-7B [Question] deepspeed 无法使用zero3

qmb5sa22  于 7个月前  发布在  其他
关注(0)|答案(2)|浏览(114)

必需的先决条件

问题

当时使用zero启动时出现上图中的错误

检查清单

  • 我已提供所有相关且必要的信息。
  • 我已为这个问题选择了一个合适的标题。
gpfsuwkq

gpfsuwkq1#

我也遇到了这个问题,想问问最后是怎么解决的呢?

ogq8wdun

ogq8wdun2#

我升级了deepspeed的版本到0.9.5,错误就消失了。

相关问题