问题:taozhiyu@603e5f4a42f1 下载了 % ollama run glm4:9b-chat-1m-q8_0,拉取镜像时遇到了问题。
错误信息:Error: llama runner process has terminated: signal: abort trap error:check_tensor_dims: tensor 'blk.0.attn_qkv.weight' has wrong shape; expected 4096, 4608, got 4096, 5120, 1, 1
操作系统:macOS
GPU:Apple
CPU:Apple
Ollama版本:0.2
7条答案
按热度按时间a0zr77ik1#
taozhiyu@603e5f4a42f1 ~ % ollama --version
ollama版本是0.2.0
taozhiyu@603e5f4a42f1 ~ % ollama run glm4:9b-chat-1m-q8_0
错误:llama运行器进程已终止:信号:中止陷阱错误:检查Tensor维度:Tensor'blk.0.attn_qkv.weight'的形状不正确;期望的形状是4096,4608,实际得到的形状是4096,5120,1,1
1hdlvixo2#
抱歉,taozhiyuai,1m模型尚未得到支持。我们将努力实现这一目标。
m1m5dgzv3#
@jmorganca 有任何计划支持GLM4V-9B型号吗?
nwwlzxa74#
@VarLad,你可以尝试
ollama run glm4
。请确保你已经更新到最新版本。我将默认使用9B模型。ylamdve65#
@pdevine 我运行时得到
这是针对版本0.2.1的。
4zcjmb1e6#
此外,这本身就是一个问题,我正在询问https://huggingface.co/THUDM/glm-4v-9b模型,它是一个视觉模型,是GLM4家族的一部分。
我相信ollama支持像LLAVA这样的视觉模型(对吗?)
cidc1ykv7#
@VarLad 计算内存使用情况的图表存在问题。0.2.2版本即将发布,其中包含修复该问题的补丁。目前还不支持glm-4v。