[Question] baichuan-7b是否可以支持lora model 合并?

zengzsys  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(26)

必需的先决条件

问题

baichuan-7b是否可以支持lora模型合并?参考llama系列

检查清单

  • 我已提供所有相关且必要的信息。
  • 我已为这个问题选择了一个合适的标题。
tzdcorbm

tzdcorbm1#

原理上都支持,就是简单的把两个qora矩阵相乘,然后scale,最后加到原矩阵上去。

h22fl7wq

h22fl7wq2#

我试过,支持的,直接peft的merge_and_unload就行

相关问题