pytorch 培训员类中未设置数据整理程序?

1zmg4dgp  于 2022-11-09  发布在  其他
关注(0)|答案(1)|浏览(105)

我正在使用Hugging人脸模型训练一个语言模型。我正在使用RoberTa模型,在训练时遇到了问题。这就是我如何使用DataCollatorForLanguageModeling作为data_collator来创建Trainer类。

trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=collator,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    tokenizer=tokenizer
    #prediction_loss_only=True,
)

但是,当我调用trainer.get_train_dataloader().collate_fn时,它使用的是RemoveColumnsCollator。我认为这就是为什么训练不起作用的原因。

6l7fqoea

6l7fqoea1#

我发现这是一个作为参数传递的数据整理器的 Package 类。

trainer.get_train_dataloader().collate_fn.data_collator

相关问题