目前仅支持原始LORA,作为未融合适配器。我希望能够为适配器添加对QLORA/QA-LORA的支持,而无需与基本模型融合。
ckx4rj1h1#
你好,我正在为Vllm添加QLora支持。第一个可能支持的模型可能是timdettmers/qlora-alpaca-13b(以及timdettmers在hugging face上展示的其他一些qlora模型)。
1条答案
按热度按时间ckx4rj1h1#
你好,我正在为Vllm添加QLora支持。第一个可能支持的模型可能是timdettmers/qlora-alpaca-13b(以及timdettmers在hugging face上展示的其他一些qlora模型)。