[论文解读] Vision Transformers: State of the Art and Research Challenges

Bo-Kai Ruan, Hong-Han Shuai+1 more|arXiv (Cornell University)|Jul 7, 2022

Advanced Neural Network Applications被引用 12

一句话总结

本综述全面回顾了视觉Transformer（ViTs）的研究进展，涵盖架构创新、训练技巧以及自监督学习方法。其展示了在各类视觉任务中达到的最先进性能，并指出了数据饥渴、固定输入尺寸、鲁棒性、模型效率以及特征坍塌等关键挑战，为ViT未来发展提供了研究方向洞察。

ABSTRACT

Transformers have achieved great success in natural language processing. Due to the powerful capability of self-attention mechanism in transformers, researchers develop the vision transformers for a variety of computer vision tasks, such as image recognition, object detection, image segmentation, pose estimation, and 3D reconstruction. This paper presents a comprehensive overview of the literature on different architecture designs and training tricks (including self-supervised learning) for vision transformers. Our goal is to provide a systematic review with the open research opportunities.

研究动机与目标

• 提供视觉Transformer架构及其设计创新的系统性文献综述。
• 分析提升ViT性能的训练技巧，包括数据增强和自监督学习。
• 识别并讨论诸如数据饥渴、鲁棒性、固定输入尺寸和模型效率等开放研究挑战。
• 探讨当前ViTs的局限性，包括特征坍塌和归纳偏置的缺乏，并提出改进方向。
• 通过整合关键见解和开放问题，为未来研究提供指导。

提出的方法

• 调研并分类通过架构修改解决数据饥渴和局部性缺乏等问题的变体ViT架构。
• 分析强数据增强、蒸馏和学习率调度等训练技巧，以提升ViT泛化能力。
• 回顾自监督学习方法，包括MAE（掩码自编码器）和MoCo，这些方法利用掩码重建或对比学习在无标签情况下预训练ViTs。
• 评估使用离散VAE生成标记化表示以实现掩码块预测的自监督预训练中的应用。
• 通过混合架构或局部注意力机制将CNN的归纳偏置引入ViTs，以提升样本效率。
• 提出架构和训练策略的改进，如引入可学习参数或附加模块（例如T2T-ViT、DeepViT），以缓解特征坍塌。

实验结果

研究问题

• RQ1 视觉Transformer的架构改进在图像分类和目标检测等视觉任务中如何提升性能？
• RQ2 包括数据增强和自监督学习在内的哪些训练技巧能显著增强ViT泛化能力并减少对数据的依赖？
• RQ3 使用掩码重建（如MAE）的自监督预训练在多大程度上可实现与监督预训练相当或更优的性能？
• RQ4 哪些关键挑战阻碍了ViT在真实场景中的部署，例如对输入噪声的鲁棒性以及在移动设备上的效率？
• RQ5 如何在不引入显著推理开销的前提下缓解深层ViTs中的特征坍塌？

主要发现

• 视觉Transformer已在包括图像分类、目标检测和语义分割在内的多样化计算机视觉任务中实现最先进性能。
• 自监督学习方法如MAE，通过ViT编码器-解码器结构重建掩码块，实现了前所未有的准确率，甚至可超越监督预训练方法。
• 架构创新如T2T-ViT和DeepViT通过引入可学习参数或局部归纳偏置，有效缓解了特征坍塌问题。
• 强数据增强和蒸馏技术的使用显著提升了ViT的泛化能力和鲁棒性，尤其在标注数据有限的情况下表现突出。
• 尽管取得成功，ViTs对输入噪声仍较敏感，且由于位置嵌入的限制，存在固定输入尺寸的约束，限制了其在移动设备上的部署。
• 目前用于移动设备部署的模型压缩方法仍显不足，凸显了高效ViT部署中的关键开放挑战。