ludwig 跳过保存模型导致不同的指标

okxuctiv 于 2个月前发布在其他

关注(0)|答案(2)|浏览(25)

描述bug

为训练添加标志--skip_save_model会导致最终的指标不同

重现方法

重现行为的步骤：

model_type: gbm
input_features:
    - name: age
      type: number
output_features:
    - name: income
      type: binary

docker run --gpus all -i -t --rm ludwigai/ludwig-ray-gpu:0.8.4 /bin/bash
ludwig train --config ludwig.yaml --dataset ludwig://adult_census_income --random_seed 1

产生

╒═════════════════════════════════╤════════════════════╕
│ Validation feature              │ income             │
├─────────────────────────────────┼────────────────────┤
│ Validation metric               │ roc_auc            │
├─────────────────────────────────┼────────────────────┤
│ Best model step                 │ 50                 │
├─────────────────────────────────┼────────────────────┤
│ Best model epoch                │ 1                  │
├─────────────────────────────────┼────────────────────┤
│ Best model's validation roc_auc │ 0.7122949361801147 │
├─────────────────────────────────┼────────────────────┤
│ Best model's test roc_auc       │ 0.7052067518234253 │
╘═════════════════════════════════╧════════════════════╛

和

ludwig train --config ludwig.yaml --dataset ludwig://adult_census_income --random_seed 1 --skip_save_model

产生

╒═════════════════════════════════╤════════════════════╕
│ Validation feature              │ income             │
├─────────────────────────────────┼────────────────────┤
│ Validation metric               │ roc_auc            │
├─────────────────────────────────┼────────────────────┤
│ Best model step                 │ 250                │
├─────────────────────────────────┼────────────────────┤
│ Best model epoch                │ 5                  │
├─────────────────────────────────┼────────────────────┤
│ Best model's validation roc_auc │ 0.7126029133796692 │
├─────────────────────────────────┼────────────────────┤
│ Best model's test roc_auc       │ 0.7061160802841187 │
╘═════════════════════════════════╧════════════════════╛

预期行为

AUC不应该改变

环境信息(请填写以下信息):