unilm 关于layoutlmv3的MLM问题

uplii1fm  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(30)

你好,
感谢分享layoutlmv3。关于layoutlmv3的MLM有一个问题。所有的单词都被[MASK]标记替换了吗?还是像BERT的MLM一样,[MASK]标记、随机替换标记和未改变标记之间有一个比例?你能分享一下这个具体的比例吗?
谢谢。
你好@HYPJUDY,如果你有时间,请帮我解答这个问题,谢谢。

mctunoxg

mctunoxg1#

你好,类似于BERT,我们的比率分别为80%、10%和10%,分别对应于遮罩标记、随机标记和未改变的标记。

相关问题