unilm [LayoutLM] 与论文中不同的CLS标记的位置嵌入

rkue9o1l  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(35)

首先,感谢您的辛勤工作。
在论文的图2中,CLS标记的位置嵌入是[0, 0, maxW, maxH]的嵌入。
然而,在这一行和这一行中,[0, 0, 0, 0]被使用。
那么哪一个是正确的呢?以及在提供的预训练权重中使用的是哪一个?我认为论文中提到的那个更合理,因为CLS标记的图像嵌入是整个图像,而且该标记用于文档分类。

9udxz4iz

9udxz4iz1#

是的,我也遇到了同样的问题。

相关问题