请提出你的问题 Please ask your question
目前我们开发环境是通过单机多卡进行推理(静态图),将模型拆分到多卡上,然后通过本地文件系统进行多卡间数据的通信。
但由于线上环境都是单级单卡(虚拟出来的机器),因此多卡间只能通过socket传输数据和文件。现希望通过nccl的方式通过paddle API进行多机多卡的通信,降低推理过程中通信的损耗,但是发现流水线并行模式的文档中只提供了动态图的方式。
而且API文档中大量标注distributed包,需要动态图模式才可以用,因此提问:
静态图模式下通过nccl等方式完成流水线并行通信进行推理是否行得通?
1条答案
按热度按时间6ioyuze21#
静态图模式下目前无法直接使用nccl等方式完成流水线并行通信进行推理。