mlc-llm [Bug] 如果设备不是严格的Android系统,而在编译mlc_llm时,system-lib-prefix会被清除,

2ledvvac  于 2个月前  发布在  Android
关注(0)|答案(2)|浏览(34)

🐛 Bug

你好,非常感谢你的出色工作。我是新来的,如果这个问题很愚蠢的话,请原谅。
我在通过Python API将LLM转换为支持GPU的Android设备时遇到了这个问题。
mlc_llm compile阶段,如果我将device设置为android:adreno(我认为如果我简单地将其设置为android,它不会调用Adreno GPU,对吗?),它将触发这段代码并清除system-lib-prefix
就我的情况而言,我会将它们注解掉。但在我看来,这种逻辑没有意义,这就是我提交这份报告的原因。

agyaoht7

agyaoht71#

在Android中传递将是没问题的,它将调用Adreno GPU。

ecbunoof

ecbunoof2#

在阅读了代码之后,我认为@BitCircuit你是对的,我们可以安全地移除这一行,你介意发送一个PR吗?

相关问题