按照飞书文档找到的modelfile文件,在ollama创建后输出报错。错误:无效的文件魔数,因此无法部署在ollama。
Windows
Nvidia
AMD
0.34
5ssjco0h1#
模型文件的内容是什么?你正在尝试导入哪个模型?
91zkwejq2#
FROM ./MiniCPM-V-2_6/model/ggml-model-Q4_K_M.gguf FROM ./MiniCPM-V-2_6/mmproj-model-f16.gguf TEMPLATE """{{ if .System }}<|im_start|>system {{ .System }}<|im_end|>{{ end }} {{ if .Prompt }}<|im_start|>user {{ .Prompt }}<|im_end|>{{ end }} <|im_start|>assistant<|im_end|> {{ .Response }}<|im_end|>""" PARAMETER stop "<|endoftext|>" PARAMETER stop "<|im_end|>" PARAMETER num_ctx 2048
3duebb1j3#
ggml-model-Q4_K_M.gguf 和 ggml-model-f16.gguf 都是来自 Hugging Face。
2uluyalo4#
MiniCPM-V-2_6尚不支持。当ggerganov/llama.cpp#7599合并时,它将起作用。
x6492ojm5#
谢谢
5条答案
按热度按时间5ssjco0h1#
模型文件的内容是什么?你正在尝试导入哪个模型?
91zkwejq2#
3duebb1j3#
ggml-model-Q4_K_M.gguf 和 ggml-model-f16.gguf 都是来自 Hugging Face。
2uluyalo4#
MiniCPM-V-2_6尚不支持。当ggerganov/llama.cpp#7599合并时,它将起作用。
x6492ojm5#
谢谢