DeepSpeed-MII 支持多节点部署?

yebdmbv4  于 6个月前  发布在  其他
关注(0)|答案(3)|浏览(206)

如果我需要将一个模型部署到多台机器上,我可以使用哪种配置?

uqzxnwby

uqzxnwby1#

你好,@pohunghuang-nctu。我们目前不支持多节点部署,但随着MII的持续开发,这个功能已经在我们的视线中了。

pxyaymoc

pxyaymoc2#

多节点部署有任何更新吗?

kqhtkvqz

kqhtkvqz3#

抱歉在这里的回复有些延迟。我相信在#147被合并后,通过DeepSpeed启动器已经启用了这个功能。如果你能够测试这个功能,请反馈给我。我也会调查为这个功能添加单元测试。谢谢!

相关问题