[论文解读] ReViT: Enhancing Vision Transformers Feature Diversity with Attention Residual Connections

Anxhelo Diko, Danilo Avola+2 more|arXiv (Cornell University)|Feb 17, 2024

CCD and CMOS Imaging Sensors被引用 4

一句话总结

ReViT 提出了一种残差注意力机制，通过注意力残差连接保留低层次视觉特征，缓解深层网络中的特征坍塌问题。该方法通过平衡局部与全局注意力，在多个图像分类和目标检测基准上提升性能，在 ImageNet1k、CIFAR100 和 COCO2017 上达到最先进水平。

ABSTRACT

Vision Transformer (ViT) self-attention mechanism is characterized by feature collapse in deeper layers, resulting in the vanishing of low-level visual features. However, such features can be helpful to accurately represent and identify elements within an image and increase the accuracy and robustness of vision-based recognition systems. Following this rationale, we propose a novel residual attention learning method for improving ViT-based architectures, increasing their visual feature diversity and model robustness. In this way, the proposed network can capture and preserve significant low-level features, providing more details about the elements within the scene being analyzed. The effectiveness and robustness of the presented method are evaluated on five image classification benchmarks, including ImageNet1k, CIFAR10, CIFAR100, Oxford Flowers-102, and Oxford-IIIT Pet, achieving improved performances. Additionally, experiments on the COCO2017 dataset show that the devised approach discovers and incorporates semantic and spatial relationships for object detection and instance segmentation when implemented into spatial-aware transformer models.

研究动机与目标

• 为解决深度视觉变换器中的特征坍塌问题，即由于自注意力过度全局化导致低层次视觉特征丢失。
• 通过在多头自注意力层中引入残差注意力连接，提升模型鲁棒性与特征多样性。
• 通过保留局部与语义细节，提升图像分类和目标检测等视觉识别任务的性能。
• 在具有不同复杂度和类别分布的多样化数据集上，评估残差注意力机制的有效性。

提出的方法

• 提出一种残差注意力学习机制，通过可学习门控变量 α 将当前与过去的自注意力输出进行融合。
• 在多头自注意力（MHSA）层的查询和键矩阵中应用残差连接，实现浅层到深层的特征传播。
• 采用加权融合方式结合过去与当前的注意力图：α ×（过去注意力）+（1−α）×（当前注意力），其中 α 在训练过程中学习得到。
• 使用 GradCAM 可视化方法证明，与标准 ViT 相比，ReViT 能够保留更多局部化且多样的特征。
• 将残差模块应用于标准和空间感知变换器架构，在 COCO2017 上实现目标检测与实例分割。
• 通过调整 α 值进行消融实验，分析局部与全局特征学习之间的权衡。

Figure 1: Illustration of feature maps learned from ReViT and ViT obtained using GradCAM [ 31 ] algorithm.

实验结果

研究问题

• RQ1 残差注意力学习如何影响视觉变换器中的特征多样性与表征质量？
• RQ2 在不同数据集上，过去与当前注意力信息（通过 α 表示）的最优平衡点是什么，以实现性能最大化？
• RQ3 ReViT 在 ImageNet1k、CIFAR10 和 CIFAR100 等图像分类基准上的性能提升程度如何？
• RQ4 ReViT 能否通过在空间感知变换器模型中捕捉语义与空间关系，提升目标检测与实例分割性能？
• RQ5 与标准 ViT 相比，ReViT 在应对物体位置变化的鲁棒性以及归纳偏置限制方面表现如何？

主要发现

• ReViT 在 ImageNet1k 上达到最先进性能，准确率与鲁棒性均优于标准 ViT 及其他 SOTA 模型。
• 在 CIFAR100 和 Oxford Flowers-102 数据集上，ReViT 在 α = 0.75 时达到峰值性能，当 α 接近 1 时准确率急剧下降，表明过去注意力的重要性。
• 在 Oxford-IIIT Pet 数据集上，当 α 被最优调优时，ReViT 因能更好处理类内与类间差异而表现出显著性能提升。
• 在 COCO2017 上，ReViT 通过在空间感知变换器中发现并整合语义与空间关系，显著提升了目标检测与实例分割性能。
• 消融实验表明，α = 0（仅依赖第一层注意力）会导致性能坍塌，尤其在复杂数据集上，凸显残差注意力的必要性。
• GradCAM 可视化结果证实，与标准 ViT 相比，ReViT 能够保留更多局部化且多样的特征，特别是在深层网络中，有效缓解了特征坍塌。

Figure 2: Illustration of the standard self-attention (a) and the proposed mechanism with residual attention module (b).