ollama 错误:基于'Qwen2ForCausalLM'的模型尚不支持,

kxe2p93d  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(27)

问题:当我运行以下命令时遇到了问题:

ollama create qwen-14b-quant -f /home/vidyasagar/rr/ModelFile.txt

文本文件内容如下:

FROM /home/user/rr/quantized_14_b_awq
TEMPLATE """{{ if .System }}<|im_start|>system
 {{ .System }}<|im_end|>{{ end }}<|im_start|>user
 {{ .Prompt }}<|im_end|>
 <|im_start|>assistant
 """
SYSTEM """"""
PARAMETER stop <|im_start|>
 PARAMETER stop <|im_end|>

终端输出如下:

transferring model data
unpacking model metadata
Error: Models based on 'Qwen2ForCausalLM' are not yet supported
但是我看到有支持Qwen 1.5的模型,那么为什么我的模型不能正常工作呢?有人能解释一下吗?我做错了什么吗?

操作系统:Linux
GPU:Nvidia
CPU:AMD
Ollama版本:0.1.32

qltillow

qltillow1#

据我所知,Ollama上的Qwen 1.5版本是Qwen 2,查看familymodel层中,显示为qwen2,可能是因为Ollama不支持AWQ版本。🤷‍♂️
我尝试使用llama.cpp转换7B AWQ版本,但也没有成功,而且它似乎也不是14b AWQ版本的官方GGUF,你使用的是哪个模型?

相关问题