要开启流水线并行,您需要在strategy.hybrid_configs
中设置pp_degree
的值。例如,如果您想要使用4个数据并行进程和1个模型并行进程,您可以将pp_degree
设置为5。以下是修改后的代码:
strategy = fleet.DistributedStrategy()
strategy.hybrid_configs = {
"dp_degree": 1,
"mp_degree": 1,
"pp_degree": 5, # 将pp_degree设置为5以使用4个数据并行进程和1个模型并行进程
"sharding_degree": 1,
}
fleet.init(is_collective=True, strategy=strategy)
hcg = fleet.get_hybrid_communicate_group()
tensor_parallel_rank = hcg.get_model_parallel_rank()
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, tensor_parallel_rank=tensor_parallel_rank, dtype="float32")
这样,您的模型将使用流水线并行。
2条答案
按热度按时间slhcrj9b1#
不建议使用流水线并行进行推理,因为这比较复杂。
ttcibm8c2#
不建议使用流水线并行进行推理,因为这比较复杂。
没关系,有相关示例吗?