DeepSpeed-MII支持多节点推理,

ne5o7dgx  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(42)

您正在编辑的内容已更改。请复制您的编辑并刷新页面。

任务

Beta Give feedback
目前没有跟踪的任务。

  • 选项* 转换为问题
  • 切换完成状态
  • 重命名
  • 移除
1hdlvixo

1hdlvixo1#

如果我有两台机器,每台机器分别有两个GPU,如何实现多节点推理?

628mspwn

628mspwn2#

你好@JKYtydt - 这里关于DeepSpeed推理的教程包括如何调用DeepSpeed以支持多节点推理的说明。

相关问题