嗨，伙计们，
我尝试在Ollama上使用leo-hessianai-7B模型。我使用了GGUF文件(从这里获取的Q4_K_M.gguf https://huggingface.co/TheBloke/leo-hessianai-7B-GGUF/tree/main )并遵循了Ollama的说明( https://github.com/ollama/ollama/blob/main/docs/import.md )。我已经成功地使用该模型生成了答案，但它们非常错误且具有幻觉性(你可以说它们很疯狂)。不幸的是，我不知道自己做错了什么。我假设参数或模板(在为Ollama创建的Modelfile中)不正确。
希望你们能帮助我解决这个问题。
我尝试了以下Modelfiles:

FROM ./leo-hessianai-7b.Q4_K_M.gguf
TEMPLATE """{{- if .System }}
<|im_start|>system {{ .System }}<|im_end|>
{{- end }}
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""

SYSTEM """"""

PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>

FROM ./leo-hessianai-7b.Q4_K_M.gguf
TEMPLATE "[INST] {{ .Prompt }} [/INST]"

(当我使用这个仓库中的safetensors并使用Ollama工具转换和量化模型时，同样出现了问题。)
--> 所以如果leo-hessianai-7B 、 leo-hessianai-13B 和 leo-hessianai-70B 能够添加到Ollama中就太好了 - 在https://huggingface.co/LeoLM 找到这些模型。