我使用docker加载多个ollama镜像,并通过nginx分发它们,这比直接调用部署的模型要慢得多。
Linux
Nvidia
0.1.34
cbwuti441#
在我添加了"keep_alive": "24h"参数之后,过了一段时间我执行了nvidia-smi命令,卡片上没有显示ollma,所以我需要调用接口来显示它。
1条答案
按热度按时间cbwuti441#
在我添加了"keep_alive": "24h"参数之后,过了一段时间我执行了nvidia-smi命令,卡片上没有显示ollma,所以我需要调用接口来显示它。