unilm BEiT3的预训练数据集

eqfvzcg8  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(22)

对不起,但是似乎使用了一个巨大的图像对数据集来预训练beit3-base和beit3-large。
你能分享一下你使用4M/16M数据集预训练的模型吗?
非常感谢!

fv2wmkja

fv2wmkja1#

对不起,但是似乎使用了一个巨大的图像对数据集来预训练beit3-base和beit3-large。你能分享一下你使用4M/16M数据集预训练的模型吗?非常感谢!
我也有同样的问题。在论文中,作者报告使用了1500万张图片进行预训练,但在相应的GitHub仓库中,预训练数据似乎要大得多。

相关问题