问题是什么?
[root@hanadev system]# ollama run glm4
错误:llama运行器进程已终止:信号:中止(核心转储)CUDA错误:CUBLAS_STATUS_NOT_INITIALIZED
当前设备:0,在函数cublas_handle中/go/src/github.com/ollama/ollama/llm/llama.cpp/ggml/src/ggml-cuda/common.cuh:826
cublasCreate_v2(&cublas_handles[device])
GGML_ASSERT: /go/src/github.com/ollama/ollama/llm/llama.cpp/ggml/src/ggml-cuda.cu !"CUDA error"
NVIDIA-SMI 465.19.01驱动程序版本:465.19.01 CUDA版本:11.3
OS
Linux
GPU
Nvidia
CPU
Intel
Ollama版本
0.21
5条答案
按热度按时间5tmbdcev1#
Ollama docker镜像v1.4.7正常工作。
GPU:Tesla V100-PCIE-32GB
Nvidia Toolkit:V12.5
通过最新的docker镜像运行Ollama。在这里也遇到了类似的或相同的问题:
hi3rlvi22#
最近我遇到了相同的错误
ollama版本是0.2.7
当我尝试运行deepseek-v2:236b时,它只在核心转储时发生错误。
错误:llama运行器进程已终止:信号:中止(核心转储)CUDA错误:CUBLAS_STATUS_NOT_INITIALIZED
当前设备:0,在cublas_handle函数中/go/src/github.com/ollama/ollama/llm/llama.cpp/ggml/src/ggml-cuda/common.cuh:826
cublasCreate_v2(&cublas_handles[device])
GGML_ASSERT: /go/src/github.com/ollama/ollama/llm/llama.cpp/ggml/src/ggml-cuda.cu !"CUDA error"
如果我尝试从同一个供应商运行一个较小的模型,没有问题
运行deepseek-v2:16b
操作系统:Ubuntu 22.04 LTS
GPU:Nvidia
d5vmydt93#
它在几周前还能正常工作。
ollama run deepseek-v2:236b
okxuctiv4#
@SunMacArenas,您能分享更多关于您的设置的信息吗?我无法复现故障,对我来说,glm4在0.2.1和最新的0.2.8版本中都能正确加载。您的显存有多少?您能分享一下服务器日志吗?
@harrytong,您能分享一下在旧版本上运行正常的系统上的
ollama ps
输出以及模型加载时的nvidia-smi
输出吗?您的系统内存有多少?如果您能分享一下旧版本运行正常时的服务器日志以及新版本加载失败时的日志,这也可能有助于了解发生了什么问题。sc4hvdpw5#
你好,Daniel。很遗憾,我无法恢复我的旧配置。我不知道是不是CUDA 12.5.1更新,以及/或者Nvidia 555驱动程序导致的。现在我唯一能运行ollama run deepseek-v2:236b的方法是拔掉我的两块GTX 3090显卡,让我的双XEON 72核心进行推理(比当我的两块RTX 3090显卡可以参与时要慢得多)。我有一台双XEON CPU,配备256GB RAM和两块RTX3090显卡(总共48GB GPU RAM)。这是我当前的nvidia-smi输出: