unilm LayoutLMv3是一种通用的预训练模型,可以用于文本为中心的任务,它具有简单的统一架构和训练目标,因此可以用于多种任务,

guicsvcw  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(48)

描述bug

我使用的模型(layoutlmv3-base-chinese):
当使用以下两种情况时,问题出现:

我无法在 zh XFUND 中复现 precisionrecallf1,是不是漏掉了什么?

重现问题

重现该行为所需的步骤:
1.运行我的colab代码

预期行为

预期结果应该接近
| 预训练模型 | precision | recall | f1 |
| ------------ | ------------ | ------------ | ------------ |
| layoutlmv3-base-chinese | 0.8980 | 0.9435 | 0.9202 |
但我得到的是
| 预训练模型 | precision | recall | f1 |
| ------------ | ------------ | ------------ | ------------ |
| layoutlmv3-base-chinese | 0.8805 | 0.9266 | 0.9030 |
我发现你用8个GPU进行微调,但我只有一个GPU,所以我也尝试使用 gradient_accumulation_steps=8 进行模拟,但仍然无法得到预期结果
| 预训练模型 | precision | recall | f1 |
| ------------ | ------------ | ------------ | ------------ |
| layoutlmv3-base-chinese | 0.8824 | 0.9436 | 0.9119 |

ssgvzors

ssgvzors1#

你好,@rogerdehe,由于xfund没有开发集,我们选择了测试集中的最佳分数。我在评估过程中发现你的日志输出F1=91.6。所以,0.4的差距可能是因为GPU的数量。
我认为使用更多的GPU或者寻找另一个设置来获得类似的分数是一个好主意。

相关问题