unilm ViT-S for BeiT v2

rbpvctlc  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(32)

你好!
感谢您的这个很棒的仓库。
在您的论文的表4中,您展示了使用ViT-S(Small & 1x384x6)进行消融研究的结果。是否有可能获得这些预训练权重或者获得复现这些结果的命令?
谢谢!
Elias

3b6akqbq

3b6akqbq1#

你好,
在论文的表4中,我们使用ViT-S作为分词器对ViT-Base进行预训练。这些检查点权重是你所需要的吗?

whlutmcx

whlutmcx2#

你好,
是的,我正在寻找ViT-S分词器的权重!
另外,你认为使用ViT-S分词器预训练ViT-S是否可能?

相关问题