ollama 请使用Docker指定单个GPU(id=1),错误!

mu0hgdu0  于 2个月前  发布在  Docker
关注(0)|答案(1)|浏览(46)

问题是什么?
我有一个8个GPU的服务器,我想在Docker中指定id为1的GPU,
docker run -it ... --device=/dev/dri/card1 --device=/dev/dri/renderD129 ....
错误发生!

当我设置HIP_VISIBLE_DEVICES=1

操作系统

Linux

GPU型号

AMD

CPU型号

Intel

Ollama版本

0.21

nnt7mjpx

nnt7mjpx1#

很难通过截图而不是文本日志来跟踪,但我认为你看到的是两个不同的问题。
我认为当你通过docker命令行标志过滤GPU并设置HIP_VISIBLE_DEVICES时,事情会变得不同步,我们无法在GPU上工作。
我认为如果你省略那个环境变量,只用docker标志进行过滤,那么就会有一个gfx兼容性问题。你要尝试使用哪个GPU,以及你要设置的GFX Override是什么?

相关问题