我们已经看到，当我们使用OpenAI API兼容层Ollama时，它无法利用我们的NVIDIA GPU。当我们使用Ollama生成API重新运行测试时，它确实使用了GPU。这是配置考虑还是潜在的bug?
Linux
Nvidia
Intel
0.1.48
m0rkklqb1#
这将是一个错误-它应该以相同的方式使用GPU。请问您可能正在运行的Nvidia硬件是什么？对此感到抱歉。
b1payxdu2#
目前我们正在使用具有48Gb内存的L40 NVIDIA GPU。它是ADA一代的一部分，所以相当新。规格在这里：https://www.nvidia.com/en-gb/data-center/l40/我们一直在使用nvidia-smi监控GPU指标，当使用OpenAI API时，利用率为零。
vx6bjr1n3#
考虑到您的GPU是为运行LLM而设计的，这很可能是一种某种类型的错误。请问您是否在使用OpenWebUI(以前称为OllamaWebUI)?
0aydgbwb4#
目前还没有，但如果你觉得这有帮助的话，我们可以很容易地做到这一点。目前我们正在直接监控GPU指标，并尝试使用相应的API。最简单的方法是使用"curl"在循环中访问两个不同的API版本。
oiopk7p55#
不确定这是否会有所帮助，因为我以前从未遇到过这个问题。然而值得一试。你是在本地运行Ollama还是在服务器上？
5条答案
按热度按时间m0rkklqb1#
这将是一个错误-它应该以相同的方式使用GPU。请问您可能正在运行的Nvidia硬件是什么？对此感到抱歉。
b1payxdu2#
目前我们正在使用具有48Gb内存的L40 NVIDIA GPU。它是ADA一代的一部分，所以相当新。规格在这里：https://www.nvidia.com/en-gb/data-center/l40/
我们一直在使用nvidia-smi监控GPU指标，当使用OpenAI API时，利用率为零。
vx6bjr1n3#
考虑到您的GPU是为运行LLM而设计的，这很可能是一种某种类型的错误。请问您是否在使用OpenWebUI(以前称为OllamaWebUI)?
0aydgbwb4#
目前还没有，但如果你觉得这有帮助的话，我们可以很容易地做到这一点。
目前我们正在直接监控GPU指标，并尝试使用相应的API。最简单的方法是使用"curl"在循环中访问两个不同的API版本。
oiopk7p55#
不确定这是否会有所帮助，因为我以前从未遇到过这个问题。然而值得一试。你是在本地运行Ollama还是在服务器上？