你好，
我正在尝试使用vllm部署Gemm-7b-it模型，但是当引擎尝试下载分词器时，我遇到了一个错误：OSError: 无法加载'google/gemma-7b-it'的分词器。如果你试图从'https://huggingface.co/models'加载它，请确保你没有一个同名的本地目录。否则，请确保'google/gemma-7b-it'是包含所有相关文件的GemmTokenizerFast分词器的正确路径。
我还附上了错误截图。
任何帮助都将不胜感激。
你好，
我正在尝试使用vllm部署Gemm-7b-it模型，但是当引擎尝试下载分词器时，我遇到了一个错误：OSError: 无法加载'google/gemma-7b-it'的分词器。如果你试图从'https://huggingface.co/models'加载它，请确保你没有一个同名的本地目录。否则，请确保'google/gemma-7b-it'是包含所有相关文件的GemmTokenizerFast分词器的正确路径。
我还附上了错误截图。
任何帮助都将不胜感激。
4条答案
按热度按时间t2a7ltrp1#
你好，@rahuja23。看起来像是huggingface的身份验证问题。你可以尝试下载到本地并再次尝试吗？
dgenwo3n2#
你好@esmeetu
是的，我尝试了，现在遇到了这个错误：
ValueError: 模型架构['GemmaForCausalLM']暂时不支持。支持的架构有：['AquilaModel', 'AquilaForCausalLM', 'BaiChuanForCausalLM', 'BaichuanForCausalLM', 'BloomForCausalLM', 'ChatGLMModel', 'ChatGLMForConditionalGeneration', 'FalconForCausalLM', 'GPT2LMHeadModel', 'GPTBigCodeForCausalLM', 'GPTJForCausalLM', 'GPTNeoXForCausalLM', 'InternLMForCausalLM', 'LlamaForCausalLM', 'LLaMAForCausalLM', 'MistralForCausalLM', 'MixtralForCausalLM', 'MptForCausalLM', 'MPTForCausalLM', 'OPTForCausalLM', 'PhiForCausalLM', 'QWenLMHeadModel', 'RWForCausalLM', 'YiForCausalLM']
不知道为什么？
8wigbo563#
你使用的是哪个版本？
Gemma模型只支持最新版本：v0.3.2。请升级后再试。xnifntxz4#
你好，@esmeetu。我成功解决了这个问题，但是当我尝试生成输出时，我得到了以下错误：
请问有什么原因吗？