Bug
MLC-LLM在转换模型时遇到了问题。
复现步骤
- 运行以下命令，将模型转换为MLC格式：
mlc_llm convert_weight ./dist/models/Qwen2-1.5B-Instruct/ --model-type qwen2 --quantization q0f16 -o dist/Qwen2-1.5B-Instruct-q0f16-MLC- 运行以下命令，生成配置文件：
mlc_llm gen_config ./dist/models/Qwen2-1.5B-Instruct/ --model-type qwen2 --quantization q0f16 --conv-template chatml --context-window-size 2048 --max-batch-size 1 -o dist/Qwen2-1.5B-Instruct-q0f16-MLC/- 运行以下命令，打包模型：
mlc_llm package预期行为
在执行上述步骤后，模型应该能够成功转换为MLC格式并打包。如果遇到任何错误或异常，请查看输出日志以获取更多详细信息。
5条答案
按热度按时间vsaztqbk1#
你的操作应该已经生成了mlc模型文件。你可以在Android或iOS上运行它。我想试试你的想法
fhg3lkii2#
是的，已经在安卓手机上运行了。但我需要调用功能。
xmd2e60i3#
你可以尝试使用他们的Android演示应用程序一段时间。确保在开发之前可以使用所需的模型。Android是开源的。如果你想在你自己的APP中包含这个功能，你可能需要进行开发。你需要一个演示界面，对吧？
0wi1tuuw4#
@panghongtao 是的，你能给我一个演示界面吗？
zi8p0yeb5#
你可以下载这个
https://objects.githubusercontent.com/github-production-release-asset-2e65be/633675943/81fe934a-807d-4f70-8d36-84b5e6fc4445?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=releaseassetproduction%2F20240620%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20240620T025018Z&X-Amz-Expires=300&X-Amz-Signature=b65b2a4fc2e1e8ce4820d5f1a2484947ae46b96279ac283abac2182f3dab17ea&X-Amz-SignedHeaders=host&actor_id=152578991&key_id=0&repo_id=633675943&response-content-disposition=attachment%3B%20filename%3Dmlc-chat.apk&response-content-type=application%2Fvnd.android.package-archive
和这个安卓API,你可以查看它
https://llm.mlc.ai/docs/deploy/android.html
如果你想更改模型，你可以查看mlc应用程序的文件文件夹。这个文件夹是mlc模型。