由于其强大的计算能力,Ascend NPU 目前被许多客户使用。我们希望 vLLM 能够在 Ascend NPU 上顺利运行,从而为更多用户提供服务。我们还完成了在 Ascend NPU 硬件上适配 vLLM 的 v0.4.2 版本。经过适配的 Ascend-vLLM 在易用性和高性能方面表现出色。现在我们计划将代码贡献给 vLLM 项目。此外,我们欢迎大家参与联合构建并共同构建 Ascend NPU 上大型模型的框架能力。
ztigrdn81#
相关问题:#6368
1条答案
按热度按时间ztigrdn81#
相关问题:#6368