我在llama.cpp仓库中偶然看到了一个关于使用GPU on Apple Silicon from within a vm/container的简短讨论。性能不如裸金属，但比仅使用CPU进行推理要好得多。
主要内容是来自3月份的this work,它在VM内部提供了一个虚拟化的Vulkan接口，然后传递给主机MacOS上的vulkan-to-metal层。
我认为这对于Ollama来说是有意义的，需要将这个概念验证工作与podman一起实现在Mac的Docker桌面中，但我在这里记录它是因为它展示了一种前进的方式。