unilm 在序列输出后,我们应该添加另一个全连接层(FC layer)还是丢弃层(dropout layer)?

djmepvbi  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(34)

你好~~我好奇在BERT序列输出后,是否应该在layoutLM预训练中添加另一个全连接层或丢弃层?

e5nszbig

e5nszbig1#

请详细说明一下,sunshine9409。

k3bvogb1

k3bvogb12#

@sunshine9409 你能详细解释一下吗?
也就是说,预训练时的头(子网)是什么样子的?

相关问题