vllm [特性]:支持qwen模型的管道并行性

ih99xse1 于 2个月前发布在其他

关注(0)|答案(2)|浏览(56)

🚀 功能、动机和宣传

仅支持以下架构的Pipeline并行：['AquilaModel', 'AquilaForCausalLM', 'InternLMForCausalLM', 'LlamaForCausalLM', 'LLaMAForCausalLM', 'MistralForCausalLM', 'Phi3ForCausalLM', 'GPT2LMHeadModel']。

替代方案

无响应*

其他上下文

无响应*

vllm

来源：https://github.com/vllm-project/vllm/issues/6471

2条答案

按热度按时间

0wi1tuuw1#

cc @andoorve

赞(0）回复(0）举报 2个月前

bprjcwpo2#

赞(0）回复(0）举报 2个月前

我来回答

vllm [特性]:支持qwen模型的管道并行性

🚀 功能、动机和宣传

替代方案

其他上下文

2条答案

相关问题

热门标签

最新问答