无法从Modelfile创建starcoder2模型：错误：基于'Starcoder2ForCausalLM'的模型尚不支持
ttp71kqs1#
你好，@yaoyasong,你能描述一下你用来导入这个模型的过程吗？它是从这里来的吗？https://huggingface.co/docs/transformers/model_doc/starcoder2#transformers.Starcoder2ForCausalLM
uplii1fm2#
你使用的是哪个版本的ollama?starcoder2模型需要ollama版本0.1.28或更高。
6kkfgxo03#
在这里也遇到了类似的问题，尝试从HF HuggingFaceH4/starchat2-15b-v0.1 (safetensors)导入。ollama版本是0.1.47
transferring model data unpacking model metadata Error: Models based on 'Starcoder2ForCausalLM' are not yet supported
qaxu7uf24#
你好，@yaoyasong,你能描述一下你导入这个模型的过程吗？它是从这里下载的吗？https://huggingface.co/docs/transformers/model_doc/starcoder2#transformers.Starcoder2ForCausalLM我从hf(https://huggingface.co/bigcode/starcoder2-3b)上下载了模型，并直接通过modelfile导入。我需要先将模型转换为gguf格式吗？Modelfile:FROM /path_to_hf_modelTEMPLATE {{ .Prompt }}ollama版本是0.1.44
mctunoxg5#
遗憾的是，Ollama暂时无法(还未)直接从safetensors转换为starcoder2(与llama3/gemma不同),但你应该能在llm/llama.cpp/目录中的convert-hf-to-gguf.py脚本中使用。将模型转换为gguf二进制文件，然后将其包含在模型文件的FROM行中。
llm/llama.cpp/
convert-hf-to-gguf.py
FROM
0sgqnhkj6#
如果你想在不转换的情况下使用starcoder2,只需使用ollama run starcoder2。
ollama run starcoder2
6条答案
按热度按时间ttp71kqs1#
你好，@yaoyasong,你能描述一下你用来导入这个模型的过程吗？
它是从这里来的吗？
https://huggingface.co/docs/transformers/model_doc/starcoder2#transformers.Starcoder2ForCausalLM
uplii1fm2#
你使用的是哪个版本的ollama?starcoder2模型需要ollama版本0.1.28或更高。
6kkfgxo03#
在这里也遇到了类似的问题，尝试从HF HuggingFaceH4/starchat2-15b-v0.1 (safetensors)导入。
ollama版本是0.1.47
qaxu7uf24#
你好，@yaoyasong,你能描述一下你导入这个模型的过程吗？
它是从这里下载的吗？https://huggingface.co/docs/transformers/model_doc/starcoder2#transformers.Starcoder2ForCausalLM
我从hf(https://huggingface.co/bigcode/starcoder2-3b)上下载了模型，并直接通过modelfile导入。
我需要先将模型转换为gguf格式吗？
Modelfile:
FROM /path_to_hf_model
TEMPLATE {{ .Prompt }}
ollama版本是0.1.44
mctunoxg5#
遗憾的是，Ollama暂时无法(还未)直接从safetensors转换为starcoder2(与llama3/gemma不同),但你应该能在
llm/llama.cpp/目录中的convert-hf-to-gguf.py脚本中使用。将模型转换为gguf二进制文件，然后将其包含在模型文件的FROM行中。0sgqnhkj6#
如果你想在不转换的情况下使用starcoder2,只需使用
ollama run starcoder2。