vllm 为不合并的QLORA/QA-QLORA权重添加支持

tpgth1q7  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(31)

目前仅支持原始LORA,作为未融合适配器。我希望能够为适配器添加对QLORA/QA-LORA的支持,而无需与基本模型融合。

ckx4rj1h

ckx4rj1h1#

你好,我正在为Vllm添加QLora支持。第一个可能支持的模型可能是timdettmers/qlora-alpaca-13b(以及timdettmers在hugging face上展示的其他一些qlora模型)。

相关问题