请在主机系统上检查nvidia-smi和任务管理器，查看检测到的可用显存有多少？
这条日志信息有点意外

unable to load cuda driver library" library=/usr/lib/x86_64-linux-gnu/libcuda.so.418.226.00 error="symbol lookup for cuCtxCreate_v3 failed: /usr/lib/x86_64-linux-gnu/libcuda.so.418.226.00: undefined symbol: cuCtxCreate_v3

驱动程序418相当旧。这是您在主机上使用的版本吗，还是可能存在版本不匹配的情况？
下一行暗示您正在使用500系列的驱动程序：

inference compute" id=GPU-bca32961-2a44-3c18-c167-8306f3d51df9 library=cuda compute=8.6 driver=12.6 name="NVIDIA GeForce RTX 3060" total="12.0 GiB" available="11.0 GiB

我的怀疑是WSL cuda组件不同步，以某种方式导致了错误的可用显存报告，因此我们尝试加载过多的层。

ollama/phi3模型不再为我工作。它们需要更新，因为几天前出现了问题[#5956](https://github.com/ollama/ollama/issues/5956)

请检查主机系统上的nvidia-smi和任务管理器，看看检测到的可用显存是多少？
这条日志信息有点意外

unable to load cuda driver library" library=/usr/lib/x86_64-linux-gnu/libcuda.so.418.226.00 error="symbol lookup for cuCtxCreate_v3 failed: /usr/lib/x86_64-linux-gnu/libcuda.so.418.226.00: undefined symbol: cuCtxCreate_v3

驱动程序418相当旧。这是您在主机上使用的版本吗，还是可能存在版本不匹配的情况？
下一行暗示您正在使用500系列的驱动程序：

inference compute" id=GPU-bca32961-2a44-3c18-c167-8306f3d51df9 library=cuda compute=8.6 driver=12.6 name="NVIDIA GeForce RTX 3060" total="12.0 GiB" available="11.0 GiB

我的怀疑是WSL cuda组件不同步，以某种方式导致了错误的可用显存报告，因此我们尝试加载太多层。
你好@dhiltgen,
nvidia-smi和Windows任务管理器都可以检测到12GB VRAM

• 我尝试在主机上安装几个Nvidia Windows驱动程序，如531.18、551.23、560.70,但仍然存在同样的问题。
• 按照以下指南安装CUDA https://canonical-ubuntu-wsl.readthedocs-hosted.com/en/latest/tutorials/gpu-cuda/
• 即使按照以下链接安装CUDA 12.5也无法解决问题 https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=deb_local

我重新安装了以下内容：

• 重新安装Nvidia Windows驱动程序560.70
• 重新安装WSL Ubuntu-20.04(注销旧的，下载新的)。
• 遵循https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=deb_local重新安装CUDA 12.5
• 使用curl -fsSL https://ollama.com/install.sh | sh重新安装Ollama
• 从之前的安装中备份模型(没问题，因为我可以在另一台真实的Ubuntu机器上成功运行Ollama)
  截图

NVIDIA-SMI

CUDA

devideQuery

仍然无法工作

之前的日志中的这部分已经消失了
无法加载cuda驱动库" library=/usr/lib/x86_64-linux-gnu/libcuda.so.418.226.00 error="symbol lookup for cuCtxCreate_v3 failed: /usr/lib/x86_64-linux-gnu/libcuda.so.418.226.00: undefined symbol: cuCtxCreate_v3
但问题仍然是一样的。

服务器日志

ollama_logs_2.txt

我没有相同的设置，但在12G的cuda卡上，加载llama3只使用了约6G的显存，所以我很困惑为什么它会在你的系统上出现OOM,而看起来有11G的空闲显存。

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A    142720      C   ...unners/cuda_v11/ollama_llama_server       6188MiB |
+-----------------------------------------------------------------------------------------+

% ollama ps
NAME         	ID          	SIZE  	PROCESSOR	UNTIL
llama3:latest	71a106a91016	6.7 GB	100% GPU 	3 minutes from now

一个可能有助于揭示一些情况的实验是尝试强制使用较少的层数，并找出它实际上可以在GPU上分配多少显存，然后检查nvidia-smi在主机和wsl以及任务管理器上的情况。

% curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "hello",
  "stream": false, "options": {"num_gpu": 32 }
}'