[论文解读] Unleashing Vanilla Vision Transformer with Masked Image Modeling for Object Detection

Y.K. Fang, Shusheng Yang+4 more|arXiv (Cornell University)|Apr 6, 2022

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出MimDet，一种新颖的物体检测框架，通过在微调过程中仅输入25–50%的随机采样子 token，将掩码图像建模（MIM）预训练的原始视觉Transformer（ViT）适配于物体检测任务。通过用随机初始化的卷积主干替换预训练的块化嵌入主干，以实现多尺度特征提取，MimDet在COCO数据集上达到54.3 AP⁠⁠box和48.2 AP⁠⁠mask的性能，分别优于分层Swin Transformer 2.5和2.6 AP，同时收敛速度提升2.8倍，且采用更简单的微调策略。

ABSTRACT

We present an approach to efficiently and effectively adapt a masked image modeling (MIM) pre-trained vanilla Vision Transformer (ViT) for object detection, which is based on our two novel observations: (i) A MIM pre-trained vanilla ViT encoder can work surprisingly well in the challenging object-level recognition scenario even with randomly sampled partial observations, e.g., only 25% $\sim$ 50% of the input embeddings. (ii) In order to construct multi-scale representations for object detection from single-scale ViT, a randomly initialized compact convolutional stem supplants the pre-trained large kernel patchify stem, and its intermediate features can naturally serve as the higher resolution inputs of a feature pyramid network without further upsampling or other manipulations. While the pre-trained ViT is only regarded as the 3$^{rd}$-stage of our detector's backbone instead of the whole feature extractor. This results in a ConvNet-ViT hybrid feature extractor. The proposed detector, named MIMDet, enables a MIM pre-trained vanilla ViT to outperform hierarchical Swin Transformer by 2.5 box AP and 2.6 mask AP on COCO, and achieves better results compared with the previous best adapted vanilla ViT detector using a more modest fine-tuning recipe while converging 2.8$ imes$ faster. Code and pre-trained models are available at https://github.com/hustvl/MIMDet.

研究动机与目标

• 探究MIM预训练的原始ViT是否可在无需架构修改的情况下有效适配于物体检测任务。
• 解决原始ViT在多尺度物体检测中单尺度特征表示的挑战。
• 通过避免窗口注意力机制，最小化MIM预训练与检测微调之间的分布差距。
• 与先前基于ViT的检测器相比，采用更简单、更快速的微调策略，实现高效且高性能的检测。

提出的方法

• 用随机初始化的紧凑卷积主干替换ViT中预训练的大感受野块化主干，以生成多尺度特征。
• 在微调过程中，仅将25–50%的随机采样子 token 输入到MIM预训练的ViT编码器，其余部分视为掩码标记。
• 使用轻量级解码器从掩码输入中重建完整特征图，从而在检测微调过程中隐式执行MIM。
• 利用卷积主干的中间特征作为高分辨率输入送入标准特征金字塔网络（FPN），避免了上采样操作。
• 将ViT编码器视为混合卷积网络-ViT主干的第三阶段，而非完整的特征提取器。
• 采用标准Mask R-CNN作为检测头，配合极少的数据增强和36个周期的微调策略。

实验结果

研究问题

• RQ1 当仅使用部分输入序列进行微调时，MIM预训练的原始ViT是否能在物体检测任务上实现有效泛化？
• RQ2 将预训练的块化主干替换为随机初始化的卷积主干，是否能有效支持物体检测中的多尺度表征学习？
• RQ3 在使用MIM预训练的ViT时，即使采用更少周期和更少数据增强的简化微调策略，是否仍能实现SOTA性能？
• RQ4 MIM预训练与检测微调之间的分布差距如何影响性能？通过避免窗口注意力机制，该差距能否被有效缓解？

主要发现

• MimDet在COCO物体检测与实例分割任务上，使用基础尺寸模型仅经过36个微调周期，即达到54.3 AP⁠⁠box和48.2 AP⁠⁠mask的性能。
• 在相同评估协议下，MimDet相比分层Swin Transformer分别高出2.5 AP⁠⁠box和2.6 AP⁠⁠mask。
• 尽管采用更温和的微调策略，MimDet的收敛速度仍比之前性能最佳的原始ViT检测器快2.8倍。
• 该方法在不使用相对位置偏置的情况下仍保持强大性能，而这类偏置通常会带来显著的训练成本。
• 通过仅引入轻量级卷积主干和部分输入采样，该方法在极少架构修改下实现SOTA结果。
• 结果表明，MIM预训练的原始ViT可被有效用于物体级识别任务，而无需重新设计主干或引入复杂注意力机制。