尝试使用MLC-LLM编译我经过微调的llama3 llm,但一直运行到这个

bcs8qyzn 于 2个月前发布在其他

关注(0)|答案(1)|浏览(42)

关于使用MLC-LLM编译的一般问题：

(venv) root@0192b97af942:/workspace/venv/lib/python3.11/site-packages/mlc_llm# python3 -c "import mlc_llm; print(mlc_llm.__file__)"
 /workspace/venv/lib/python3.11/site-packages/mlc_llm/__init__.py
 (venv) root@0192b97af942:/workspace/venv/lib/python3.11/site-packages/mlc_llm# python3 -m mlc_llm.build --model /workspace/lora_model --target cuda --quantization q4f16_1 --use-safetensors --artifact-path /workspace/compiled-models
 /workspace/venv/bin/python3: No module named mlc_llm.build

P.S. 我已经在lora_model文件夹中有了special_tokens_map、tokenizer_config和tokenizer JSON文件。我需要这些文件来使用MLC-LLM编译我的微调模型吗？

mlc-llm

来源：https://github.com/mlc-ai/mlc-llm/issues/2790