mlc-llm [功能请求]添加高通NPU设备推理功能

t2a7ltrp  于 5个月前  发布在  其他
关注(0)|答案(1)|浏览(108)

🚀功能

添加高通NPU设备推理

动机

高通发布了一款AI SDK,其中包含了在高通® HexagonTM NPU上运行模型的能力。添加此功能将使新Android设备和X精英系列笔记本电脑上的推理更加迅速。根据高通的说法,他们的SDK可以提供“对高通® HexagonTM NPU、高通® AdrenoTM GPU和高通® KryoTM CPU的加速支持”1。

替代方案

目前高通有一个稳定的扩散和控制网络的演示,但似乎找不到这样的演示。

附加上下文

SDK链接和介绍可以在此处找到:here

相关问题