我们需要vLLM支持PowerPC架构的CPU推理。这个项目应该开始考虑非x86平台。Initial PowerPC CPU support
vmdwslir1#
我当然同意我们需要扩展CPU支持到其他架构，而且我认为ARM会有很大的影响，因为在Apple's M-series、AWS Graviton、NVIDIA Grace和Google Axion的ARM处理器上，内存带宽(与x86处理器相比)非常广泛且相对较大。
我只熟悉PowerPC,因为我过去在HPC领域的工作，所以我的理解可能过时了，但我相信这些并不容易获得。@ChipKerchner 是否有公共示例可用，以便我们可以定期运行CI?您能分享一下贵组的使用案例或需求吗？
rnmwe5a22#
我们确实在公共云和大学中拥有IBM Power示例。我们应该能够为常规CI运行分配一个示例。
2条答案
按热度按时间vmdwslir1#
我当然同意我们需要扩展CPU支持到其他架构，而且我认为ARM会有很大的影响，因为在Apple's M-series、AWS Graviton、NVIDIA Grace和Google Axion的ARM处理器上，内存带宽(与x86处理器相比)非常广泛且相对较大。
我只熟悉PowerPC,因为我过去在HPC领域的工作，所以我的理解可能过时了，但我相信这些并不容易获得。@ChipKerchner 是否有公共示例可用，以便我们可以定期运行CI?您能分享一下贵组的使用案例或需求吗？
rnmwe5a22#
我们确实在公共云和大学中拥有IBM Power示例。我们应该能够为常规CI运行分配一个示例。