ollama 支持Ascend NPU硬件

vd8tlhqk 于 2个月前发布在其他

关注(0)|答案(5)|浏览(24)

华为Ascend AI处理器是基于华为开发的Da Vinci架构的AI芯片。它在处理大规模数据和复杂计算任务方面表现良好。目前，llama.cpp项目正在适应Ascend系列AI处理器。我也正在将Ollama适配为支持Ascend系列AI处理器，以扩展Ollama支持的硬件生态系统。

5条答案

感谢@JingWoo的联系！你是否知道华为团队？我们在添加支持之前会对设备进行测试。对于大多数集成，我们会直接与硬件供应商花费时间测试他们的驱动程序，然后再发布。

@mchiang0610 是的，我来自华为，现在正在尝试为ollama添加对Ascend的支持。我也有一些Ascend AI服务器在手，所以正在为它们添加支持并进行测试。如果您需要更多关于Ascend的问题或功能，请随时联系我。

JingWoo,是否可以查看是否可以添加一个用于测试的Ascend AI服务器？我们在哪里可以申请测试硬件？
每个Ollama版本在发布之前都会进行测试。我们一直在与硬件供应商合作，构建稳定性和可靠性检查的测试矩阵。

@JingWoo,您可以在ACNPU设备上设置OLLAMA吗？您有相关的指南文档吗？

希望它能支持在华为Ascend服务器上运行。