我正在使用Hugging人脸模型训练一个语言模型。我正在使用RoberTa模型,在训练时遇到了问题。这就是我如何使用DataCollatorForLanguageModeling作为data_collator来创建Trainer类。
trainer = Trainer(
model=model,
args=training_args,
data_collator=collator,
train_dataset=train_dataset,
eval_dataset=eval_dataset,
tokenizer=tokenizer
#prediction_loss_only=True,
)
但是,当我调用trainer.get_train_dataloader().collate_fn
时,它使用的是RemoveColumnsCollator。我认为这就是为什么训练不起作用的原因。
1条答案
按热度按时间6l7fqoea1#
我发现这是一个作为参数传递的数据整理器的 Package 类。