Ollama Creat 手动部署 报错 Error: invalid file magic

2w3kk1z5  于 2个月前  发布在  其他
关注(0)|答案(5)|浏览(32)

问题是什么?

按照飞书文档找到的modelfile文件,在ollama创建后输出报错。
错误:无效的文件魔数,因此无法部署在ollama。

操作系统

Windows

GPU

Nvidia

CPU

AMD

Ollama版本

0.34

5ssjco0h

5ssjco0h1#

模型文件的内容是什么?你正在尝试导入哪个模型?

91zkwejq

91zkwejq2#

FROM ./MiniCPM-V-2_6/model/ggml-model-Q4_K_M.gguf
 FROM ./MiniCPM-V-2_6/mmproj-model-f16.gguf
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>{{ end }}
{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>{{ end }}
<|im_start|>assistant<|im_end|>
{{ .Response }}<|im_end|>"""
PARAMETER stop "<|endoftext|>"
 PARAMETER stop "<|im_end|>"
 PARAMETER num_ctx 2048
3duebb1j

3duebb1j3#

ggml-model-Q4_K_M.gguf 和 ggml-model-f16.gguf 都是来自 Hugging Face。

2uluyalo

2uluyalo4#

MiniCPM-V-2_6尚不支持。当ggerganov/llama.cpp#7599合并时,它将起作用。

相关问题