PaddleNLP [Question]: 如何设置多卡pipline并行推理?

5jdjgkvh  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(51)

您好,您可以通过以下步骤开启流水线并行:

  1. 首先,您需要将模型切分成多个阶段。每个阶段都是一个独立的计算图,可以并行计算。
  2. 然后,您需要使用PipelineParallel类来创建一个管道并行组。这个组可以将多个阶段组合在一起,并在不同的设备上执行它们。
  3. 最后,您需要使用hcg.get_model_parallel_rank()函数来获取当前设备的排名,并将其传递给PipelineParallel类的构造函数。
vfh0ocws

vfh0ocws1#

一般使用 TP 推理,流水线推理的话暂时不支持。

相关问题