没有提供描述。
hgncfbus1#
HF版本的应该可以。
bakd9h0s2#
可以的，不过你需要先将模型转换为hf格式。Linly是基于LLama训练的，你可以先将TXpretrain版本的权重转换为LLama版本(TXP有相关代码),然后再将LLama版本转换为hf格式。
w8ntj3qf3#
lora微调loss不下降的原因可能有很多，比如学习率过大、数据集过小、模型结构不适合等等。您可以尝试调整学习率、增加数据集或者更换模型结构来解决这个问题。
5n0oy7gb4#
权重是否已经转换为hf格式？
回复的原邮件：
| 发件人 | ***@***.***> || 日期 | 2023年06月09日 10:57 || 收件人 | ***@***.***> || 抄送至 | ***@***.***>***@***.***> || 主题 | Re: [CVI-SZU/Linly] Linly-ChatFlow-7B可以基于peft实现LoRA微调吗？ (Issue #70) |
方便稍微具体说一下么？我试了下linly直接增量训练或者微调是可以的，但是lora微调 loss不下降。是lora需要先转换一下版本么？
— 回复此电子邮件，查看GitHub上的直接回复，或取消订阅。您收到此电子邮件是因为您评论了。消息ID: ***@***.***>
x9ybnkn65#
感谢回复！我训练的时候没有转hf，我看lora也是基于tencentpretrain做的。linly也可以直接拿来做微调，应该就是tencentpretrain的格式。所以没有转成hf的。我不太理解为什么lora的时候需要转成hf格式的？
dxpyg8gm6#
根据您提供的信息，以下是翻译结果：
看你是用什么微调方法吧，如果使用TXp库就不需要转换，但如果使用peft库就需要进行转换。感谢您的回复！在我的训练过程中，我没有将模型转换为hf格式，因为我发现lora也是基于tencentpretrain做的。因此，我认为linly也可以直接用于微调，应该是tencentpretrain的格式。我不太理解为什么在进行lora微调时需要将模型转换为hf格式？
如果您有其他问题或需要进一步帮助，请随时告诉我。
6条答案
按热度按时间hgncfbus1#
HF版本的应该可以。
bakd9h0s2#
可以的，不过你需要先将模型转换为hf格式。Linly是基于LLama训练的，你可以先将TXpretrain版本的权重转换为LLama版本(TXP有相关代码),然后再将LLama版本转换为hf格式。
w8ntj3qf3#
lora微调loss不下降的原因可能有很多，比如学习率过大、数据集过小、模型结构不适合等等。您可以尝试调整学习率、增加数据集或者更换模型结构来解决这个问题。
5n0oy7gb4#
权重是否已经转换为hf格式？
回复的原邮件：
| 发件人 | ***@***.***> |
| 日期 | 2023年06月09日 10:57 |
| 收件人 | ***@***.***> |
| 抄送至 | ***@***.***>***@***.***> |
| 主题 | Re: [CVI-SZU/Linly] Linly-ChatFlow-7B可以基于peft实现LoRA微调吗？ (Issue #70) |
方便稍微具体说一下么？我试了下linly直接增量训练或者微调是可以的，但是lora微调 loss不下降。是lora需要先转换一下版本么？
— 回复此电子邮件，查看GitHub上的直接回复，或取消订阅。您收到此电子邮件是因为您评论了。消息ID: ***@***.***>
x9ybnkn65#
感谢回复！我训练的时候没有转hf，我看lora也是基于tencentpretrain做的。linly也可以直接拿来做微调，应该就是tencentpretrain的格式。所以没有转成hf的。我不太理解为什么lora的时候需要转成hf格式的？
dxpyg8gm6#
根据您提供的信息，以下是翻译结果：
看你是用什么微调方法吧，如果使用TXp库就不需要转换，但如果使用peft库就需要进行转换。感谢您的回复！在我的训练过程中，我没有将模型转换为hf格式，因为我发现lora也是基于tencentpretrain做的。因此，我认为linly也可以直接用于微调，应该是tencentpretrain的格式。我不太理解为什么在进行lora微调时需要将模型转换为hf格式？
如果您有其他问题或需要进一步帮助，请随时告诉我。