[论文解读] RevColV2: Exploring Disentangled Representations in Masked Image Modeling

Qi Han, Yuxuan Cai+1 more|arXiv (Cornell University)|Sep 2, 2023

Advanced Neural Network Applications被引用 6

一句话总结

RevColV2 提出了一种统一的自编码器架构，在掩码图像建模（MIM）中通过可逆多列设计，同时在预训练和微调阶段保留编码器与解码器，以学习解耦的低级特征与语义表征。通过保持完整的自编码器并利用对称的自底向上与自顶向下的可逆列实现渐进式解耦，RevColV2 在图像分类、语义分割和目标检测任务上实现了最先进性能，且无需任务特定适配器。

ABSTRACT

Masked image modeling (MIM) has become a prevalent pre-training setup for vision foundation models and attains promising performance. Despite its success, existing MIM methods discard the decoder network during downstream applications, resulting in inconsistent representations between pre-training and fine-tuning and can hamper downstream task performance. In this paper, we propose a new architecture, RevColV2, which tackles this issue by keeping the entire autoencoder architecture during both pre-training and fine-tuning. The main body of RevColV2 contains bottom-up columns and top-down columns, between which information is reversibly propagated and gradually disentangled. Such design enables our architecture with the nice property: maintaining disentangled low-level and semantic information at the end of the network in MIM pre-training. Our experimental results suggest that a foundation model with decoupled features can achieve competitive performance across multiple downstream vision tasks such as image classification, semantic segmentation and object detection. For example, after intermediate fine-tuning on ImageNet-22K dataset, RevColV2-L attains 88.4% top-1 accuracy on ImageNet-1K classification and 58.6 mIoU on ADE20K semantic segmentation. With extra teacher and large scale dataset, RevColv2-L achieves 62.1 box AP on COCO detection and 60.4 mIoU on ADE20K semantic segmentation. Code and models are released at https://github.com/megvii-research/RevCol

研究动机与目标

• 为解决掩码图像建模（MIM）中预训练与微调之间的一致性问题，即解码器通常被丢弃，导致信息丢失与特征纠缠。
• 在预训练与微调中保持统一的自编码器架构，以保留学习到的表征并提升可迁移性。
• 探究可逆多列架构如何在MIM预训练过程中实现低级与语义特征的解耦学习。
• 证明解耦表征可提升在多样化视觉任务（包括分类、分割与检测）中的下游性能。

提出的方法

• 设计对称的自编码器，包含自底向上的可逆列编码器与自顶向下的可逆列解码器，以实现无损、双向的特征传播。
• 在自底向上与自顶向下列之间引入可逆连接，以确保梯度流动并支持解耦特征学习。
• 在自顶向下解码器末端使用重建损失，通过分层信息流引导低级特征向底部传递，语义特征向顶部传递。
• 在微调过程中保持完整的自编码器，使解码器能直接参与下游任务特征学习，无需重新训练或插入适配器。
• 构建不同规模的模型（如 RevColV2-L），并保持一致的 FLOPs，以实现跨架构与训练策略的公平比较。
• 利用强蒸馏信号（如 CLIP）和大规模数据集（如 ImageNet-22K）进一步提升性能。

实验结果

研究问题

• RQ1 与仅使用编码器的MIM方法相比，保留微调阶段解码器的统一自编码器架构是否能提升下游性能？
• RQ2 RevColV2中的可逆多列设计是否能有效在MIM预训练过程中解耦低级与语义特征？
• RQ3 RevColV2中解耦表征学习如何影响在分类、分割与检测等多样化视觉任务中的可迁移性？
• RQ4 训练周期长度对RevColV2模型最终性能有何影响？

主要发现

• 在 ImageNet-22K 上进行中间微调后，RevColV2-L 在 ImageNet-1K 图像分类任务上达到 88.4% 的 top-1 准确率。
• 通过额外的蒸馏和大规模预训练，RevColV2-L 在 COCO 目标检测任务上达到 62.1 box AP，在 ADE20K 语义分割任务上达到 60.4 mIoU。
• 消融实验表明，可逆多列解码器优于标准 MAE、UNet 风格及非可逆列解码器，其在 ImageNet-1K 上达到 84.1% 的 top-1 准确率。
• 更长的预训练周期（1600 个周期）带来显著提升——与 300 个周期相比，大模型准确率提高 +1.1%，表明在延长训练后可充分释放模型优化潜力。
• 具有解耦特征的统一架构在多个任务中持续提升性能，证明在下游适应中同时保留编码器与解码器具有显著优势。