[杂项]:运行时错误：找不到任何模型权重 [vllm=0.4.0]

y53ybaqx 于 2个月前发布在其他

关注(0)|答案(1)|浏览(62)

关于vllm的讨论

在使用meta-llama/CodeLlama-7b-Instruct-hf与vllm==0.4.0, torch==2.1.2时，我遇到了以下错误。代码在vllm==0.2.1上运行得很好，但我想使用最新版本的vllm以获得更多功能。这似乎是一个微不足道的错误，我已经尝试了重新安装PyTorch、Transformer以及验证CUDA版本等方法。如果能得到任何帮助就太好了！
错误信息：
(RayWorkerVllm pid=1842765) ERROR 04-24 09:33:04 ray_utils.py:44] RuntimeError: Cannot find any model weights with 'meta-llama/CodeLlama-7b-Instruct-hf'

vllm

来源：https://github.com/vllm-project/vllm/issues/4333

1条答案

按热度按时间

yqkkidmi1#

跟进：
当我注解掉 load_format 时，代码似乎可以正常工作，这默认为 Using model weights format ['*.safetensors'],这是预期的吗？

model = LLM(
        model=model_name_or_path,
        tensor_parallel_size=num_gpus,
        trust_remote_code=True,
        download_dir=HUGGINGFACE_CACHE,
        # load_format="pt",
        max_num_batched_tokens = max_model_len,
        max_model_len = max_model_len,
        swap_space = 1
        # max_num_batched_tokens = 8192 # max_prompt_length
    )

赞(0）回复(0）举报 2个月前

我来回答

[杂项]:运行时错误：找不到任何模型权重 [vllm=0.4.0]

关于vllm的讨论

1条答案

相关问题

热门标签

最新问答