感谢您的关注。
批处理大小32是总批处理大小吗？如果不是，那么总批处理大小是多少？

以下是我设置的参数大小：

def get_args():
    parser = argparse.ArgumentParser('BEiT预训练脚本', add_help=False)
    parser.add_argument('--batch_size', default=32, type=int)
    parser.add_argument('--epochs', default=500, type=int)
    parser.add_argument('--save_ckpt_freq', default=100, type=int)

ic,你使用了多少张GPU卡？

仅使用了一台A40

好的，我们可以提供一个参考点。在我们的实验中，使用16个V100s在ImageNet-1M(128万张图像)上运行需要大约5分钟。