LoRa训练得到的权重如何与原始模型融合，因为llama-inference没有提供加载LoRa权重的地方。
eqfvzcg81#
请问这个问题你解决了吗？我也遇到了相同的问题。
jpfvwuh42#
解决了，llama-inference添加带lora的模型，并加载对应权重即可正常推理。
hgncfbus3#
请问lora精调之后有出现生成乱码的情况吗？我是在TencentPretrain框架下lora训练，修改了llama-inference/model/llama.py模型来支持加载lora参数，但加载后生成结果是各种语言组成的乱码。方便看一下具体是怎样添加和加载的吗，超级感谢~
rqqzpn5f4#
能共享下代码吗？尝试几个加载的方法都不对。
2ekbmq325#
请问在训练LoRa时，您遇到了什么问题？我看到在tencentpretrain中，LoRa流程分为两步。第一步是使用--pretrained_model_path models和--use_lora --lora_dropout 0.05仅训练一个LoRa权重；第二步是通过--lora_pretrained_model_path --pretrained_model_path models --use_lora --lora_dropout 0.05加载并再次训练已训练好的LoRa权重。然而，在实际训练过程中，无论是在第一步还是第二步，损失值都没有降低，不知道大家是否也遇到过这个问题？
tencentpretrain
--pretrained_model_path models
--use_lora --lora_dropout 0.05
--lora_pretrained_model_path --pretrained_model_path models --use_lora --lora_dropout 0.05
5条答案
按热度按时间eqfvzcg81#
请问这个问题你解决了吗？我也遇到了相同的问题。
jpfvwuh42#
请问这个问题你解决了吗？我也遇到了相同的问题。
解决了，llama-inference添加带lora的模型，并加载对应权重即可正常推理。
hgncfbus3#
请问这个问题你解决了吗？我也遇到了相同的问题。
解决了，llama-inference添加带lora的模型，并加载对应权重即可正常推理。
请问lora精调之后有出现生成乱码的情况吗？我是在TencentPretrain框架下lora训练，修改了llama-inference/model/llama.py模型来支持加载lora参数，但加载后生成结果是各种语言组成的乱码。方便看一下具体是怎样添加和加载的吗，超级感谢~
rqqzpn5f4#
请问这个问题你解决了吗？我也遇到了相同的问题。
解决了，llama-inference添加带lora的模型，并加载对应权重即可正常推理。
能共享下代码吗？尝试几个加载的方法都不对。
2ekbmq325#
请问在训练LoRa时，您遇到了什么问题？我看到在
tencentpretrain中，LoRa流程分为两步。第一步是使用--pretrained_model_path models和--use_lora --lora_dropout 0.05仅训练一个LoRa权重；第二步是通过--lora_pretrained_model_path --pretrained_model_path models --use_lora --lora_dropout 0.05加载并再次训练已训练好的LoRa权重。然而，在实际训练过程中，无论是在第一步还是第二步，损失值都没有降低，不知道大家是否也遇到过这个问题？