描述
我正在使用的模型是LayoutLM。在layoutlm中使用的"位置嵌入"来源于标准Transformer架构。然而,在使用bounding boxes嵌入时,是否应该移除位置嵌入?我已经将其移除了,性能甚至更好了。但我不确定这里是否存在任何隐藏的权衡。
x6yk4ghg1#
phucnsp,你能详细说明你是如何"移除"位置嵌入的吗?
xa9qqrwz2#
I just remove this line below (see. layoutlm/modeling/layoutlm.py)
j8ag8udp3#
移除一维位置嵌入在某些任务上表现更好,而在其他任务上表现更差。这取决于你正在处理的任务。如果你发现结果更好,请随意移除它。
3条答案
按热度按时间x6yk4ghg1#
phucnsp,你能详细说明你是如何"移除"位置嵌入的吗?
xa9qqrwz2#
I just remove this line below (see. layoutlm/modeling/layoutlm.py)
j8ag8udp3#
移除一维位置嵌入在某些任务上表现更好,而在其他任务上表现更差。这取决于你正在处理的任务。如果你发现结果更好,请随意移除它。