BERT的缓存问题

czq61nw1  于 3个月前  发布在  其他
关注(0)|答案(2)|浏览(50)

我遇到了一个无法解决的问题。
我使用数据集'A'来微调预训练的BERT模型,"f"值为90%;
然后使用数据集'B'来微调相同的预训练BERT模型,"f"值为85%。
最后,我再次使用数据集'A'进行微调,但'f'值仅为86%。
之后我多次尝试,性能始终保持在86%。
我想如果BERT模型有缓存,它可以在训练过程中保留之前模型的参数。

fivyi3re

fivyi3re1#

你解决了这个问题吗?

44u64gxh

44u64gxh2#

我刚刚解决了,把transformers的缓存模型删了就行,一般是保存在~/.cache/torch/下

相关问题