Paddle 静态图模式下通过nccl等方式完成流水线并行通信是否行得通

tktrz96b  于 4个月前  发布在  其他
关注(0)|答案(1)|浏览(34)

请提出你的问题 Please ask your question

目前我们开发环境是通过单机多卡进行推理(静态图),将模型拆分到多卡上,然后通过本地文件系统进行多卡间数据的通信。

但由于线上环境都是单级单卡(虚拟出来的机器),因此多卡间只能通过socket传输数据和文件。现希望通过nccl的方式通过paddle API进行多机多卡的通信,降低推理过程中通信的损耗,但是发现流水线并行模式的文档中只提供了动态图的方式。

https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/06_distributed_training/pipeline_parallel_cn.html

而且API文档中大量标注distributed包,需要动态图模式才可以用,因此提问:

静态图模式下通过nccl等方式完成流水线并行通信进行推理是否行得通?

6ioyuze2

6ioyuze21#

静态图模式下目前无法直接使用nccl等方式完成流水线并行通信进行推理。

相关问题