mlc-llm 无法使用mlc_llm包命令从Hugging Face下载和编译自定义模型,

i7uq4tfw 于 2个月前发布在其他

关注(0)|答案(5)|浏览(36)

❓ 一般问题

我正在尝试使用Hugging Face的自定义模型(https://huggingface.co/Abnmd/Llama_7b-mental_test2.0)与MLC LLM一起使用，但在运行mlc_llm package命令时遇到了错误。我使用的是Windows系统，带有AMD CPU和GPU,并遵循了Android SDK的文档。我有一个疑问，是否应该遵循MLC LLM Python包(it was giving me error)?
我已经按照设置环境和安装必要依赖项的步骤进行了操作，包括：

安装带有NDK和CMake的Android Studio
设置所需的环境变量(ANDROID_NDK,TVM_NDK_CC,JAVA_HOME)
安装Rust,Git和Git LFS
克隆MLC LLM仓库
安装Conda并创建新环境
使用pip安装Python依赖项

然而，当我运行mlc_llm package命令时，我得到了以下错误：
ValueError: Git clone failed with return code 128: None. The command was: ['git', 'clone', 'https://huggingface.co/Abnmd/Llama_7b-mental_test2.0.git', '.tmp']
我尝试将Hugging Face令牌设置为环境变量，并使用Hugging Face CLI登录，但错误仍然存在。如果需要任何其他信息或特定的故障排除步骤，请告知我如何解决此问题并成功从Hugging Face下载和编译自定义模型。

mlc-llm

来源：https://github.com/mlc-ai/mlc-llm/issues/2525

5条答案

按热度按时间

ohtdti5x1#

你可以尝试的一种方法是传递一个本地路径，而不是HF路径，因为特定的仓库没有公开可见。

赞(0）回复(0）举报 2个月前

g6baxovj2#

好的，但是

我提到的仓库是我的，它不是私有的。我也尝试使用MLC LLM自己的LLMs在mlc-package-config.json上运行，但出现了相同的错误。
ValueError: Git clone failed with return code 128: None. The command was: ['git', 'clone', 'https://huggingface.co/mlc-ai/gemma-2b-it-q4f16_1-MLC.git', '.tmp']
你能帮助或建议我如何传递本地路径吗？你是说我只需要更改模型的链接并将模型的路径放入-config.json中吗？

{
    "device": "android",
    "model_list": [
        {
            "model": "HF://Abnmd/Llama_7b-mental_test2.0",   #👈 are you suggesting to change this
            "estimated_vram_bytes": 4000000000,
            "model_id": "Llama_7b-mental_test2.0",
            "bundle_weight": true,
            "overrides": {
                "context_window_size": 768,
                "prefill_chunk_size": 256
            }
            
        }
    ]
}

赞(0）回复(0）举报 2个月前

mjqavswn3#

有趣的是，请确保您已安装了Git LFS和Git。它在我的环境上可以正常工作。

赞(0）回复(0）举报 2个月前

az31mfrm4#

是的，我已经仔细检查过了，并且已经安装了两个。我有一个疑问，如果我只按照这个文档 Android SDK 进行操作，是否就可以了，还是我需要做其他的事情？

赞(0）回复(0）举报 2个月前

gc0ot86w5#

你可以尝试手动执行git clone命令，看看是否有效。

赞(0）回复(0）举报 2个月前