您好,您可以通过以下步骤开启流水线并行:
PipelineParallel
hcg.get_model_parallel_rank()
vfh0ocws1#
一般使用 TP 推理,流水线推理的话暂时不支持。
1条答案
按热度按时间vfh0ocws1#
一般使用 TP 推理,流水线推理的话暂时不支持。