vllm 为更多架构添加多LoRa支持

vwkv1x7d  于 5个月前  发布在  其他
关注(0)|答案(6)|浏览(112)

目前,多LoRA仅支持Llama和Mistral架构。我们应该将此功能扩展到所有架构。
Yi、Qwen、Phi和Mixtral架构似乎是目前最需要的。
一个挑战将是确保所有允许的权重形状都得到punica内核的支持。我们可能需要在那里调查某种填充。

  • 原帖由@Yard1在#1804(评论)中发布*
deyfvvtc

deyfvvtc1#

是否有可能添加"GPT-NeoX"?

4sup72z8

4sup72z82#

how about "chatglm" ?

a5g8bdjr

a5g8bdjr3#

@Yard1 我对将此扩展到其他架构感兴趣,你想一起讨论一下需要解决的问题吗?

ttvkxqim

ttvkxqim4#

+1,为Phi-3.0(任何Phi现在)

翻译结果:+1,为Phi-3.0(任何Phi现在)

相关问题