ollama llama runner进程已终止：信号：中止(核心转储)

jyztefdp 于 2个月前发布在其他

关注(0)|答案(6)|浏览(23)

问题：在使用llama.cpp将jina-embeddings v2 base zh转换为gguf时，通过/app/embed,日志报告错误。

答案：根据提供的日志，问题可能是由于llama服务器无法正常启动导致的。请尝试以下步骤解决问题：

确保您的系统满足llama服务器的系统要求。您可以查看官方文档以获取更多信息。
检查您的防火墙设置，确保它允许llama服务器与外部通信。
尝试重新安装llama服务器和相关依赖项，以确保所有组件都正确安装。
如果问题仍然存在，您可以尝试在llama服务器的GitHub仓库中提交一个issue,详细描述您遇到的问题。这将有助于开发者诊断和解决问题。
7月 24 15:40:33 buaa-KVM ollama[458186]: llama_model_loader: - kv 9: jina-bert-v2.context_length u32 = 8192
7月 24 15:40:33 buaa-KVM ollama[458186]: llama_model_loader: - kv 10: jina-bert-v2.embedding_length u32 = 768
7月 24 15:40:33 buaa-KVM ollama[458186]: llama_model_loader: - kv 11: jina-bert-v2.feed_forward_length u32 = 3072
7月 24 15:40:33 buaa-KVM ollama[458186]: llama_model_loader: - kv 12: jina-bert-v2.attention.head_count u32 = 12
7月 24 15:40:33 buaa-KVM ollama[458186]: llama_model_loader: - kv 13: jina-bert-v2.attention.layer_norm_epsilon f32 = 0.000000
7月 24 15:40:33 buaa-KVM ollama[458186]: llama_model_loader: - kv 14: general.file_type u32 = 1
7月 24 15:40:33 buaa-KVM ollama[458186]: llama_model_loader: - kv 15: jina-bert-v2.attention.causal bool = false
7月 24 15:40:33 buaa-KVM ollama[458186]: llama_model_loader: - kv 16: jina-bert-v2.pooling_type u32 = 1
7月 24 15:40:33 buaa-KVM ollama[458186]: time=2024-07-24T15:40:39.737+08:00 level=WARN source=sched.go:634 msg="gpu VRAM usage didn't recover within timeout" seconds=5.160248264 model=/usr/share/ollama/.ollama/models/blobs/sha256-65a4313f43b6f94a0a8693d70efe823792303a020601ab3d4cad54cf079296c6
7月24日 15:40:40 buaa-KVM ollama[458186]:时间=2024-07-24T15:40:40.238+08:00 级别=警告来源=sched.go:634 消息="gpu VRAM使用量在超时时间内未恢复" 秒数=5.660559316 模型=/usr/share/ollama/.ollama/models/blobs/sha256-65a4313f43b6f94a0a8693d70efe823792303a020601ab3d4cad54cf079296c6

OS

Linux

GPU

Nvidia

CPU

Intel

Ollama版本

0.2.8

ollama

来源：https://github.com/ollama/ollama/issues/5904

6条答案

按热度按时间

kuarbcqp1#

我注意到了一个问题，在正常情况下应该是正常的。
7月24日 16:25:35 buaa-KVM ollama[458186]: llm_load_vocab: 特殊标记缓存大小 = 5
7月24日 16:25:35 buaa-KVM ollama[458186]: llm_load_vocab: token到片段缓存大小 = 0.0769 MB
但似乎我使用了默认值。

赞(0）回复(0）举报 2个月前

uqjltbpv2#

模型不受llama.cpp支持。您是如何创建GGUF文件的？

赞(0）回复(0）举报 2个月前

hgtggwj03#

模型不受llama.cpp支持。您是如何创建GGUF文件的？
我修改了脚本convert_hf_to_gguf_update.py,为jina-v2-zh添加了一条记录。
{"name": "jina-v2-en", "tokt": TOKENIZER_TYPE.WPM, "repo": " https://huggingface.co/jinaai/jina-embeddings-v2-base-en ", }, # WPM!
{"name": "jina-v2-es", "tokt": TOKENIZER_TYPE.BPE, "repo": " https://huggingface.co/jinaai/jina-embeddings-v2-base-es ", },
{"name": "jina-v2-zh", "tokt": TOKENIZER_TYPE.BPE, "repo": " https://huggingface.co/jinaai/jina-embeddings-v2-base-zh ", },
{"name": "jina-v2-de", "tokt": TOKENIZER_TYPE.BPE, "repo": " https://huggingface.co/jinaai/jina-embeddings-v2-base-de ", },
我修改了脚本convert_hf_to_gguf.py,手动跳过了chkhsh身份验证。