unilm 索引13788超出轴0的范围,大小为13788,

nwlqm0z1  于 2个月前  发布在  其他
关注(0)|答案(3)|浏览(35)

每次训练在最后一个epoch结束时,都会报告一个错误,表示超出范围:
IndexError : param_group["lr"] = lr_schedule_values[global_step] * param_group["lr_scale"]索引13788超出轴0的范围,大小为13788

xqkwcwgp

xqkwcwgp1#

对于BEiTv3微调,这里也存在同样的问题,想知道是什么原因导致了这个问题。

x4shl7ld

x4shl7ld2#

ImKeTT,你能提供你的训练命令吗?

hsvhsicv

hsvhsicv3#

ImKeTT,你能提供你的训练命令吗?
是的,这是我在VQAv2任务上微调模型的命令:

CUDA_VISIBLE_DEVICES=0,1  python -m torch.distributed.launch --nproc_per_node=2 --master_port=25641 run_beit3_finetuning.py \
          --model beit3_base_patch16_480 --input_size 480 --task vqav2 --lr 1e-4 \
          --batch_size 68 --eval_batch_size 2 --num_max_bpe_tokens 16 --epochs 15 \
          --sentencepiece_model my/path/to/beit3.spm \
          --finetune my/path/to/beit3_base_indomain_patch16_480_vqa.pth \
          --data_path my/path/to/mscoco --randaug --save_ckpt_freq 2

相关问题