英特尔超能NPU是一款专为AI计算设计的硬件加速器，可以提升AI应用的性能和效率。Will ollama支持使用NPU进行加速？还是只调用CPU?
holgip5t1#
Ollama目前使用llama.cpp。在目前阶段，Llama.cpp似乎不支持任何神经网络加速器(除了通过CUDA的NVIDIA Tensor-RT)。
kse8i1jr2#
这可能通过Vulkan实现。
myzjeezk3#
根据这个 https://medium.com/@jianyu_neo/run-llm-on-all-intel-gpus-using-llama-cpp-fd2e2dcbd9bd 和这个 https://ipex-llm.readthedocs.io/en/latest/doc/LLM/Quickstart/llama_cpp_quickstart.html#install-ipex-llm-for-llama-cpp,可以在llama.cpp中利用英特尔GPU(我知道它不是NPU)。希望这对您有所帮助。
mrzz3bfm4#
使用AMD Ryzen NPUs也会很酷。
r8uurelv5#
我对在树莓派上使用它并带有AI护盾很感兴趣。我认为它有13 TOPS。
5条答案
按热度按时间holgip5t1#
Ollama目前使用llama.cpp。在目前阶段，Llama.cpp似乎不支持任何神经网络加速器(除了通过CUDA的NVIDIA Tensor-RT)。
kse8i1jr2#
这可能通过Vulkan实现。
myzjeezk3#
根据这个 https://medium.com/@jianyu_neo/run-llm-on-all-intel-gpus-using-llama-cpp-fd2e2dcbd9bd 和这个 https://ipex-llm.readthedocs.io/en/latest/doc/LLM/Quickstart/llama_cpp_quickstart.html#install-ipex-llm-for-llama-cpp
,可以在llama.cpp中利用英特尔GPU(我知道它不是NPU)。希望这对您有所帮助。
mrzz3bfm4#
使用AMD Ryzen NPUs也会很酷。
r8uurelv5#
我对在树莓派上使用它并带有AI护盾很感兴趣。我认为它有13 TOPS。