描述
我正在使用的模型是LayoutLM。在layoutlm中使用的"位置嵌入"来源于标准Transformer架构。然而，在使用bounding boxes嵌入时，是否应该移除位置嵌入？我已经将其移除了，性能甚至更好了。但我不确定这里是否存在任何隐藏的权衡。
x6yk4ghg1#
phucnsp,你能详细说明你是如何"移除"位置嵌入的吗？
xa9qqrwz2#
I just remove this line below (see. layoutlm/modeling/layoutlm.py)
j8ag8udp3#
移除一维位置嵌入在某些任务上表现更好，而在其他任务上表现更差。这取决于你正在处理的任务。如果你发现结果更好，请随意移除它。
3条答案
按热度按时间x6yk4ghg1#
phucnsp,你能详细说明你是如何"移除"位置嵌入的吗？
xa9qqrwz2#
I just remove this line below (see. layoutlm/modeling/layoutlm.py)
j8ag8udp3#
移除一维位置嵌入在某些任务上表现更好，而在其他任务上表现更差。这取决于你正在处理的任务。如果你发现结果更好，请随意移除它。