ludwig 上传到HF失败,未进行LLM训练,

5cnsuln7  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(26)

描述bug

当模型用于类别/分类训练时,模型权重被保存为 file ,名为 model/model_weights 。如果使用类型 llm 进行训练,权重将保存到目录 model/model_weights 中,内容为 README.mdadapter_config.jsonadapter_model.bin

重现问题

重现此行为所需的步骤:

  1. 用名称 MODEL_NAME=bug-reprod-model 和配置
{
    "input_features": [
        {
            "name": "text",
            "type": "text",
            "encoder": {
                "trainable": true,
                "pretrained_model_name_or_path": "meta-llama/Llama-2-7b-hf",
                "adapter": {
                    "type": "lora"
                }
            }
        }
    ],

    "output_features": [
        {
            "name": "label",
            "type": "category"
        }
    ]
}

训练一个模型。

  1. 尝试将训练好的模型上传到 Hugging Face 帐户 HF_ID=bug-reprod-hf-id
    您应该看到类似这样的错误信息:

  1. 将权重文件手动移动到一个目录
pushd $MODEL_NAME/api_experiment_$MODEL_NAME/model && \
 mv model_weights adapter_model.bin && \
 mkdir model_weights && \
 mv adapter_model.bin model_weights && \
 cp ~/save/$MODEL_NAME/{adapter_config.json,README.md} model_weights && \
 popd

现在,上传到 HF 应该成功了。

ludwig upload hf_hub -r $HF_ID/$MODEL_NAME -m $MODEL_NAME/api_experiment_$MODEL_NAME

预期行为

模型应在无需手动创建目录的情况下上传到 HF 。

环境(请填写以下信息):

  • OS:

发行版ID:Ubuntu
描述:Ubuntu 20.04.6 LTS
版本:20.04
代号:focal

  • 版本:CUDA 11.8
  • Pytorch:2.0.0+cu118
  • Python:3.8.10
  • Ludwig:0.8.1.post1
    其他上下文

在此添加有关问题的任何其他上下文。@arnavgarg1

ghg1uchk

ghg1uchk1#

感谢@thelinuxkid报告此问题!@arnavgarg1,你认为修改上传工具以允许上传ECD工件会有什么效果吗?

相关问题