[论文解读] SimMIM: A Simple Framework for Masked Image Modeling

Zhenda Xie, Zheng Zhang+6 more|arXiv (Cornell University)|Nov 18, 2021

Advanced Neural Network Applications参考文献 59被引用 15

一句话总结

SimMIM 提出了一种简单的掩码图像建模框架，通过随机掩码图像块并使用轻量级线性头结合 ℓ₁ 损失回归原始像素值，实现了最先进性能。在 ImageNet-1K 上，使用 ViT-B 时达到 83.8% 的 top-1 准确率，使用 SwinV2-H 时达到 87.1%，优于先前方法，同时消除了如离散 VAE 或分块掩码等复杂设计。

ABSTRACT

This paper presents SimMIM, a simple framework for masked image modeling. We simplify recently proposed related approaches without special designs such as block-wise masking and tokenization via discrete VAE or clustering. To study what let the masked image modeling task learn good representations, we systematically study the major components in our framework, and find that simple designs of each component have revealed very strong representation learning performance: 1) random masking of the input image with a moderately large masked patch size (e.g., 32) makes a strong pre-text task; 2) predicting raw pixels of RGB values by direct regression performs no worse than the patch classification approaches with complex designs; 3) the prediction head can be as light as a linear layer, with no worse performance than heavier ones. Using ViT-B, our approach achieves 83.8% top-1 fine-tuning accuracy on ImageNet-1K by pre-training also on this dataset, surpassing previous best approach by +0.6%. When applied on a larger model of about 650 million parameters, SwinV2-H, it achieves 87.1% top-1 accuracy on ImageNet-1K using only ImageNet-1K data. We also leverage this approach to facilitate the training of a 3B model (SwinV2-G), that by $40 imes$ less data than that in previous practice, we achieve the state-of-the-art on four representative vision benchmarks. The code and models will be publicly available at https://github.com/microsoft/SimMIM.

研究动机与目标

• 通过去除离散 VAE、聚类或分块掩码等复杂组件，简化掩码图像建模。
• 探究简单设计（如随机掩码、原始像素回归和轻量级头）是否能实现强大的表征学习。
• 在多种视觉任务和模型规模上评估 SimMIM 的有效性，包括数据高效训练。
• 证明最小化设计选择可达到甚至超越更复杂自监督方法的性能。

提出的方法

• 使用固定块大小（例如 32×32）和 10% 至 70% 的掩码率，随机掩码图像块。
• 通过轻量级单层前馈头直接回归掩码块的原始 RGB 像素值。
• 使用预测值与真实值之间的简单 ℓ₁ 损失进行模型训练。
• 使用 Vision Transformers（ViT、Swin）和 ResNets 作为主干网络，评估其在不同架构上的泛化能力。
• 推理时应用多尺度测试，并在预训练期间使用标准数据增强。
• 在下游任务（包括 ImageNet-1K 分类、COCO 检测和 ADE20K 分割）上进行评估。

Figure 1 : An illustration of our simple framework for masked language modeling, named SimMIM . It predicts raw pixel values of the randomly masked patches by a lightweight one-layer head, and performs learning using a simple $\ell_{1}$ loss.

实验结果

研究问题

• RQ1 在视觉 Transformer 中，使用大块大小的随机掩码是否能实现有效的表征学习？
• RQ2 直接回归原始像素值是否能优于使用复杂标记化方法的分类型掩码建模？
• RQ3 最小化预测头（如线性层）是否足以实现强大的迁移性能？
• RQ4 SimMIM 在不同模型规模和数据设置下表现如何，特别是在标注数据有限的情况下？
• RQ5 掩码策略（如与最近可见像素的平均距离）对下游性能有何影响？

主要发现

• 使用 ViT-B 在 ImageNet-1K 上，SimMIM 达到 83.8% 的 top-1 准确率，比之前最先进方法高出 +0.6%。
• 使用参数量为 658M 的 SwinV2-H，在仅使用 ImageNet-1K 数据的情况下，SimMIM 在 ImageNet-1K 上达到 87.1% 的 top-1 准确率。
• 使用 30 亿参数的 SwinV2-G 模型，通过 SimMIM 训练，在仅使用比之前方法少 40 倍标注数据的情况下，于四个视觉基准上达到最先进性能。
• 线性预测头在 ImageNet-1K 上比更深的头（如反向 Swin-T）高出 +0.4%，在 ADE20K 上高出 +0.6%，表明简单设计可增强泛化能力。
• 使用 ℓ₁ 损失的原始像素回归在性能上与或优于二值化或聚类分类目标，即使在 8–256 个颜色分箱下也表现优异。
• 掩码块与可见块之间平均距离（AvgDist）约为 15 像素时，与最佳性能强相关，表明局部上下文与全局结构之间存在良好平衡。

Figure 2 : Illustration of masking area generated by different masking strategies using a same mask ratio of 0.6: square masking [ 38 ] , block-wise masking [ 1 ] apply on 16-sized patches, and our simple random masking strategy on different patch sizes (e.g., 4, 8, 16 and 32).