ollama GLM4-1m支持

s8vozzvw  于 5个月前  发布在  其他
关注(0)|答案(7)|浏览(108)

问题:taozhiyu@603e5f4a42f1 下载了 % ollama run glm4:9b-chat-1m-q8_0,拉取镜像时遇到了问题。

错误信息:Error: llama runner process has terminated: signal: abort trap error:check_tensor_dims: tensor 'blk.0.attn_qkv.weight' has wrong shape; expected 4096, 4608, got 4096, 5120, 1, 1

操作系统:macOS
GPU:Apple
CPU:Apple
Ollama版本:0.2

a0zr77ik

a0zr77ik1#

taozhiyu@603e5f4a42f1 ~ % ollama --version
ollama版本是0.2.0
taozhiyu@603e5f4a42f1 ~ % ollama run glm4:9b-chat-1m-q8_0
错误:llama运行器进程已终止:信号:中止陷阱错误:检查Tensor维度:Tensor'blk.0.attn_qkv.weight'的形状不正确;期望的形状是4096,4608,实际得到的形状是4096,5120,1,1

1hdlvixo

1hdlvixo2#

抱歉,taozhiyuai,1m模型尚未得到支持。我们将努力实现这一目标。

m1m5dgzv

m1m5dgzv3#

@jmorganca 有任何计划支持GLM4V-9B型号吗?

nwwlzxa7

nwwlzxa74#

@VarLad,你可以尝试ollama run glm4。请确保你已经更新到最新版本。我将默认使用9B模型。

ylamdve6

ylamdve65#

@pdevine 我运行时得到

Error: llama runner process has terminated: signal: aborted (core dumped) error:failed to create context with model '~/.ollama/models/blobs/sha256-b506a070d1152798d435ec4e7687336567ae653b3106f73b7b4ac7be1cbc4449

这是针对版本0.2.1的。

4zcjmb1e

4zcjmb1e6#

此外,这本身就是一个问题,我正在询问https://huggingface.co/THUDM/glm-4v-9b模型,它是一个视觉模型,是GLM4家族的一部分。
我相信ollama支持像LLAVA这样的视觉模型(对吗?)

cidc1ykv

cidc1ykv7#

@VarLad 计算内存使用情况的图表存在问题。0.2.2版本即将发布,其中包含修复该问题的补丁。目前还不支持glm-4v。

相关问题