你好，我使用大约5K张图片和30K步训练了Layoutlm v2 funsd模型。在成功训练后，推理无法正常工作(甚至没有一个正确的预测)。但是，如果我用大约2.5张图片进行训练，相同的设置就可以正常工作。我不确定我遗漏了什么。
k97glaaz1#
我发现的一个观察是学习率在训练结束时变为0。
0vvn1miw2#
你好，@lalitr994,你能详细说明一下你使用的批次大小以及在训练测试集时得到的分数吗？
cnwbcb6i3#
嘿我遇到了一个类似的问题，训练后的模型输出的logits为nan。这是怎么回事？我正在使用一个包含29个类别和40000个数据点的自定义数据集进行训练。遵循的步骤与这个链接相同，只是进行了一些微调：https://github.com/NielsRogge/Transformers-Tutorials/blob/master/LayoutLMv2/RVL-CDIP/Fine_tuning_LayoutLMv2ForSequenceClassification_on_RVL_CDIP.ipynb我不知道这是否是一个问题，但我正在使用huggingface的Accelerate API在多个GPU上进行训练。如果有人能帮助解决这个问题，我将非常感激。
qij5mzcb4#
hi, where to get or pretrain the models for Japanese, Korean, etc.? steve8000818@gmail.com
4条答案
按热度按时间k97glaaz1#
我发现的一个观察是学习率在训练结束时变为0。
0vvn1miw2#
你好，@lalitr994,你能详细说明一下你使用的批次大小以及在训练测试集时得到的分数吗？
cnwbcb6i3#
嘿
我遇到了一个类似的问题，训练后的模型输出的logits为nan。这是怎么回事？
我正在使用一个包含29个类别和40000个数据点的自定义数据集进行训练。遵循的步骤与这个链接相同，只是进行了一些微调：https://github.com/NielsRogge/Transformers-Tutorials/blob/master/LayoutLMv2/RVL-CDIP/Fine_tuning_LayoutLMv2ForSequenceClassification_on_RVL_CDIP.ipynb
我不知道这是否是一个问题，但我正在使用huggingface的Accelerate API在多个GPU上进行训练。如果有人能帮助解决这个问题，我将非常感激。
qij5mzcb4#
hi, where to get or pretrain the models for Japanese, Korean, etc.? steve8000818@gmail.com