我在一台拥有4x A100的服务器上运行了Ollama,但它只使用了其中的一个。是否需要更改某些设置？谢谢
Linux
Nvidia
Intel
0.2.1
j8ag8udp1#
我也遇到了类似的问题。设置num_gpu:2没有任何效果。编辑：OLLAMA_NUM_PARALLEL=8 解决了这个问题。谢谢！
OLLAMA_NUM_PARALLEL=8
cbjzeqam2#
我将更新常见问题解答以使内容更清晰。简而言之，默认行为是在模型适合的情况下使用单个GPU,这通常会产生最佳性能。
2条答案
按热度按时间j8ag8udp1#
我也遇到了类似的问题。设置num_gpu:2没有任何效果。
编辑：
OLLAMA_NUM_PARALLEL=8解决了这个问题。谢谢！cbjzeqam2#
我将更新常见问题解答以使内容更清晰。简而言之，默认行为是在模型适合的情况下使用单个GPU,这通常会产生最佳性能。