[Question]: 进行chatglm2 lora微调时，设置pipeline parallel:4，报错 module 'paddlenlp.transformers.chatglm_v2.modeling' has no attribute 'ChatGLMv2ForCausalLMPipe'

wmvff8tz 于 2个月前发布在其他

关注(0)|答案(1)|浏览(46)

前提条件：单机单卡已经跑通chatglm2的lora微调训练代码；llama的多卡pp并行训练已跑通。
问题场景：想进一步尝试单机多卡，设置/chatglm2/lora_argument.json配置文件中的 "pipeline_parallel_degree": 4，然后参照官网样例，启动命令行： srun --gres=gpu:4 python3 -u -m paddle.distributed.launch --gpus "0,1,2,3" finetune_generation.py ./chatglm2/lora_argument.json
所遇问题：跑chatglm2的多卡pp并行时会报错找不到ChatGLMv2ForCausalLMPipe类，错误代码行显示在：

File "/home/LAB/wangzy/paddle/PaddleNLP/llm/finetune_generation.py", line 183, in main
   model = AutoModelForCausalLMPipe.from_pretrained(

Q：请问paddlenlp支持chatglm2的pp并行/tp并行策略吗？以及如何解决该问题？（错误截图如下）谢谢！

1条答案

当前的chatglm_v2尚未接入TP/PP。