ollama GLM4-1m支持

s8vozzvw 于 4个月前发布在其他

关注(0)|答案(7)|浏览(105)

问题：taozhiyu@603e5f4a42f1 下载了 % ollama run glm4:9b-chat-1m-q8_0,拉取镜像时遇到了问题。

错误信息：Error: llama runner process has terminated: signal: abort trap error:check_tensor_dims: tensor 'blk.0.attn_qkv.weight' has wrong shape; expected 4096, 4608, got 4096, 5120, 1, 1

操作系统：macOS
GPU:Apple
CPU:Apple
Ollama版本：0.2

ollama

来源：https://github.com/ollama/ollama/issues/5553

7条答案

按热度按时间

a0zr77ik1#

taozhiyu@603e5f4a42f1 ~ % ollama --version
ollama版本是0.2.0
taozhiyu@603e5f4a42f1 ~ % ollama run glm4:9b-chat-1m-q8_0
错误：llama运行器进程已终止：信号：中止陷阱错误：检查Tensor维度：Tensor'blk.0.attn_qkv.weight'的形状不正确；期望的形状是4096,4608,实际得到的形状是4096,5120,1,1

赞(0）回复(0）举报 4个月前

1hdlvixo2#

抱歉，taozhiyuai,1m模型尚未得到支持。我们将努力实现这一目标。

赞(0）回复(0）举报 4个月前

m1m5dgzv3#

@jmorganca 有任何计划支持GLM4V-9B型号吗？

赞(0）回复(0）举报 4个月前

nwwlzxa74#

@VarLad,你可以尝试ollama run glm4。请确保你已经更新到最新版本。我将默认使用9B模型。

赞(0）回复(0）举报 4个月前

ylamdve65#

@pdevine 我运行时得到

Error: llama runner process has terminated: signal: aborted (core dumped) error:failed to create context with model '~/.ollama/models/blobs/sha256-b506a070d1152798d435ec4e7687336567ae653b3106f73b7b4ac7be1cbc4449

这是针对版本0.2.1的。

赞(0）回复(0）举报 4个月前

4zcjmb1e6#

此外，这本身就是一个问题，我正在询问https://huggingface.co/THUDM/glm-4v-9b模型，它是一个视觉模型，是GLM4家族的一部分。
我相信ollama支持像LLAVA这样的视觉模型(对吗？)

赞(0）回复(0）举报 4个月前

cidc1ykv7#

@VarLad 计算内存使用情况的图表存在问题。0.2.2版本即将发布，其中包含修复该问题的补丁。目前还不支持glm-4v。

赞(0）回复(0）举报 4个月前