Ollama无法持续工作,

km0tfn4u  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(34)

问题:启动ollama服务后,运行一段时间会卡住。访问时一直加载,但没有结果。杀死线程后重新启动,可以正常使用一段时间(或达到一定次数的访问),然后又会卡住。为什么会这样?

我的设备是A6000(48G)

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_MODELS=/home/q/ollama_models"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_NUM_PARALLEL=32"
Environment="OLLAMA_MAX_QUEUE=2048"

相关问题