描述bug
我使用的模型(layoutlmv3-base-chinese):
当使用以下两种情况时,问题出现:
- 官方示例脚本:(详细说明如下) https://github.com/microsoft/unilm/tree/master/layoutlmv3
- 我自己的修改过的脚本:(详细说明如下) https://colab.research.google.com/drive/1C-J668Cevdrn6KHo_NJ5urMzs1LRDDDH?usp=sharing
我无法在 zh XFUND
中复现 precision
、recall
和 f1
,是不是漏掉了什么?
重现问题
重现该行为所需的步骤:
1.运行我的colab代码
预期行为
预期结果应该接近
| 预训练模型 | precision | recall | f1 |
| ------------ | ------------ | ------------ | ------------ |
| layoutlmv3-base-chinese | 0.8980 | 0.9435 | 0.9202 |
但我得到的是
| 预训练模型 | precision | recall | f1 |
| ------------ | ------------ | ------------ | ------------ |
| layoutlmv3-base-chinese | 0.8805 | 0.9266 | 0.9030 |
我发现你用8个GPU进行微调,但我只有一个GPU,所以我也尝试使用 gradient_accumulation_steps=8
进行模拟,但仍然无法得到预期结果
| 预训练模型 | precision | recall | f1 |
| ------------ | ------------ | ------------ | ------------ |
| layoutlmv3-base-chinese | 0.8824 | 0.9436 | 0.9119 |
1条答案
按热度按时间ssgvzors1#
你好,@rogerdehe,由于xfund没有开发集,我们选择了测试集中的最佳分数。我在评估过程中发现你的日志输出F1=91.6。所以,0.4的差距可能是因为GPU的数量。
我认为使用更多的GPU或者寻找另一个设置来获得类似的分数是一个好主意。