🚀 功能、动机和宣传

由于其强大的计算能力，Ascend NPU 目前被许多客户使用。我们希望 vLLM 能够在 Ascend NPU 上顺利运行，从而为更多用户提供服务。我们还完成了在 Ascend NPU 硬件上适配 vLLM 的 v0.4.2 版本。经过适配的 Ascend-vLLM 在易用性和高性能方面表现出色。现在我们计划将代码贡献给 vLLM 项目。此外，我们欢迎大家参与联合构建并共同构建 Ascend NPU 上大型模型的框架能力。

替代方案

• 无响应*

其他上下文

• 无响应*