问题:当我运行以下命令时遇到了问题:
ollama create qwen-14b-quant -f /home/vidyasagar/rr/ModelFile.txt
文本文件内容如下:
FROM /home/user/rr/quantized_14_b_awq
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
SYSTEM """"""
PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>
终端输出如下:
transferring model data
unpacking model metadata
Error: Models based on 'Qwen2ForCausalLM' are not yet supported
但是我看到有支持Qwen 1.5的模型,那么为什么我的模型不能正常工作呢?有人能解释一下吗?我做错了什么吗?
操作系统:Linux
GPU:Nvidia
CPU:AMD
Ollama版本:0.1.32
1条答案
按热度按时间qltillow1#
据我所知,Ollama上的Qwen 1.5版本是Qwen 2,查看
family
在model
层中,显示为qwen2
,可能是因为Ollama不支持AWQ版本。🤷♂️我尝试使用llama.cpp转换7B AWQ版本,但也没有成功,而且它似乎也不是14b AWQ版本的官方GGUF,你使用的是哪个模型?