unilm 关于在LayoutLMv2中实现空间感知注意力的问题

vuv7lop3  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(28)

你好,
感谢大家发布这些有影响力的作品的代码。
在使用你们的某个实现时,我遇到了这行代码,不确定我是否理解正确。
这里是将相对距离分配给不同的"桶"的地方。在这行特定的代码中,当我设置 bidirection=False 时,
似乎 relative_position 的所有正值都被分配到了 n=0 这个桶里,但我认为它们应该根据它们的值被分配到不同的桶里。(我注意到默认选项是将 bidirectional 设置为 True,在这种情况下,代码对我来说完全是有道理的。)
请问您能帮助我理解这个问题吗?谢谢!

vbopmzt1

vbopmzt11#

你好,我认为如果你理解了默认选项bidirectional=True的含义,那就足够了,因为我不认为bidirectional=False有什么用。从我的理解来看,relative_position_bucket函数的整体目的是精确描述附近的相邻位置和大致远距离的位置(通过使用对数实现)。

相关问题