必需的先决条件
- 我已阅读了文档 https://github.com/baichuan-inc/baichuan-7B/blob/HEAD/README.md 。
- 我已在 Issue Tracker 和 Discussions 中搜索,以确保这个问题尚未被报告过。(如果已经报告过,请在那里加1或评论。)
- 考虑在 Discussion 中首先提问。
问题
baichuan-7b是否可以支持lora模型合并?参考llama系列
检查清单
- 我已提供所有相关且必要的信息。
- 我已为这个问题选择了一个合适的标题。
2条答案
按热度按时间tzdcorbm1#
原理上都支持,就是简单的把两个qora矩阵相乘,然后scale,最后加到原矩阵上去。
h22fl7wq2#
我试过,支持的,直接peft的merge_and_unload就行