问题:启动ollama服务后,运行一段时间会卡住。访问时一直加载,但没有结果。杀死线程后重新启动,可以正常使用一段时间(或达到一定次数的访问),然后又会卡住。为什么会这样?
我的设备是A6000(48G)
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_MODELS=/home/q/ollama_models"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_NUM_PARALLEL=32"
Environment="OLLAMA_MAX_QUEUE=2048"
1条答案
按热度按时间2ekbmq321#
服务器日志将有助于调试。