vllm 模型不支持： internlm/internlm-xcomposer2-7b

ep6jt1vc 于 2个月前发布在其他

关注(0)|答案(2)|浏览(84)

ValueError: 模型架构['InternLMXComposer2ForCausalLM']暂时不支持。支持的架构有：['AquilaModel', 'AquilaForCausalLM', 'BaiChuanForCausalLM', 'BaichuanForCausalLM', 'BloomForCausalLM', 'ChatGLMModel', 'ChatGLMForConditionalGeneration', 'DeciLMForCausalLM', 'DeepseekForCausalLM', 'FalconForCausalLM', 'GemmaForCausalLM', 'GPT2LMHeadModel', 'GPTBigCodeForCausalLM', 'GPTJForCausalLM', 'GPTNeoXForCausalLM', 'InternLMForCausalLM', 'InternLM2ForCausalLM', 'LlamaForCausalLM', 'LLaMAForCausalLM', 'MistralForCausalLM', 'MixtralForCausalLM', 'QuantMixtralForCausalLM', 'MptForCausalLM', 'MPTForCausalLM', 'OLMoForCausalLM', 'OPTForCausalLM', 'PhiForCausalLM', 'QWenLMHeadModel', 'Qwen2ForCausalLM', 'RWForCausalLM', 'StableLMEpochForCausalLM']

vllm

来源：https://github.com/vllm-project/vllm/issues/3101

2条答案

按热度按时间

yc0p9oo01#

ValueError: 目前不支持的模型架构有 ['InternLMXComposer2ForCausalLM']。支持的架构有：['AquilaModel', 'AquilaForCausalLM', 'BaiChuanForCausalLM', 'BaichuanForCausalLM', 'BloomForCausalLM', 'ChatGLMModel', 'ChatGLMForConditionalGeneration', 'DeciLMForCausalLM', 'DeepseekForCausalLM', 'FalconForCausalLM', 'GemmaForCausalLM', 'GPT2LMHeadModel', 'GPTBigCodeForCausalLM', 'GPTJForCausalLM', 'GPTNeoXForCausalLM', 'InternLMForCausalLM', 'InternLM2ForCausalLM', 'LlamaForCausalLM', 'LLaMAForCausalLM', 'MistralForCausalLM', 'MixtralForCausalLM', 'QuantMixtralForCausalLM', 'MptForCausalLM', 'MPTForCausalLM', 'OLMoForCausalLM', 'OPTForCausalLM', 'PhiForCausalLM', 'QWenLMHeadModel', 'Qwen2ForCausalLM', 'RWForCausalLM', 'StableLMEpochForCausalLM']。

我正在尝试运行

python -m vllm.entrypoints.openai.api_server --model internlm/internlm-xcomposer2-7b --trust-remote-code

。当我尝试在 vLLM 中加载它时遇到了这个问题。有什么解决办法吗？

赞(0）回复(0）举报 2个月前

wyyhbhjk2#

同样的问题。有任何更新吗？@code959437957@topa-22

赞(0）回复(0）举报 2个月前

我来回答

vllm 模型不支持： internlm/internlm-xcomposer2-7b

2条答案

相关问题

热门标签

最新问答