要考虑的模型。
https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4/
已经支持的最接近的模型vllm。
https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat/
支持您想要的模型的困难是什么？
启动错误：MergedColumnParallelLinear对象没有属性weight
https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4/
https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat/
启动错误：MergedColumnParallelLinear对象没有属性weight
3条答案
按热度按时间xxb16uws1#
目前，vllm不支持qwen-moe量化。
a8jjtwal2#
跪地支撑，屈文墨。
8cdiaqws3#
跪地支撑，屈文墨。