[论文解读] ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond

Qiming Zhang, Yufei Xu+2 more|arXiv (Cornell University)|Feb 21, 2022

Advanced Neural Network Applications被引用 11

一句话总结

本文提出 ViTAEv2，一种通过专用降维与归一化单元引入显式归纳偏置以增强局部性与尺度不变性的视觉变换器架构。通过在各向同性和多阶段配置中堆叠这些单元，ViTAEv2 在不使用私有数据的情况下实现了最先进性能——ImageNet 上达到 88.5% 的 Top-1 准确率，ImageNet-Real 上达到 91.2%，表明归纳偏置即使在大规模模型中也能提升数据效率与泛化能力。

ABSTRACT

Vision transformers have shown great potential in various computer vision tasks owing to their strong capability to model long-range dependency using the self-attention mechanism. Nevertheless, they treat an image as a 1D sequence of visual tokens, lacking an intrinsic inductive bias (IB) in modeling local visual structures and dealing with scale variance, which is instead learned implicitly from large-scale training data with longer training schedules. In this paper, we propose a Vision Transformer Advanced by Exploring intrinsic IB from convolutions, i.e., ViTAE. Technically, ViTAE has several spatial pyramid reduction modules to downsample and embed the input image into tokens with rich multi-scale context using multiple convolutions with different dilation rates. In this way, it acquires an intrinsic scale invariance IB and can learn robust feature representation for objects at various scales. Moreover, in each transformer layer, ViTAE has a convolution block parallel to the multi-head self-attention module, whose features are fused and fed into the feed-forward network. Consequently, it has the intrinsic locality IB and is able to learn local features and global dependencies collaboratively. The proposed two kinds of cells are stacked in both isotropic and multi-stage manners to formulate two families of ViTAE models, i.e., the vanilla ViTAE and ViTAEv2. Experiments on the ImageNet dataset as well as downstream tasks on the MS COCO, ADE20K, and AP10K datasets validate the superiority of our models over the baseline transformer models and concurrent works. Besides, we scale up our ViTAE model to 644M parameters and obtain the state-of-the-art classification performance, i.e., 88.5% Top-1 classification accuracy on ImageNet validation set and the best 91.2% Top-1 accuracy on ImageNet real validation set, without using extra private data.

研究动机与目标

• 为解决视觉变换器缺乏归纳偏置的问题，后者依赖大规模数据隐式学习局部结构与尺度不变性。
• 通过将内在归纳偏置嵌入变换器架构，提升数据效率与收敛速度。
• 提升图像分类及下游视觉任务（如目标检测、语义分割与人体姿态估计）的性能。
• 探究归纳偏置在大规模视觉变换器模型中是否依然有效。

提出的方法

• 提出两种新型单元：用于多尺度特征提取的降维单元与用于局部特征建模的归一化单元。
• 采用并行、跳跃连接的架构，使每个单元内的卷积与自注意力模块协同运行，实现互补特征学习。
• 通过在各向同性和多阶段配置中堆叠降维与归一化单元，构建两类模型：基础版 ViTAE 与 ViTAEv2。
• 采用 Tokens-to-Token 变换机制，结合多感受野卷积，将尺度不变特征嵌入视觉 token。
• 在 ViTAEv2 中采用分层设计，逐级构建多阶段特征，模仿 CNN 的多尺度层次结构。
• 采用动态 token 合并策略，在减少序列长度的同时保留空间结构，提升计算效率。

实验结果

研究问题

• RQ1 显式引入局部性与尺度不变性的归纳偏置是否可在不完全依赖大规模数据的情况下提升视觉变换器性能？
• RQ2 在同一单元内整合卷积与自注意力模块，对特征学习与模型泛化能力有何影响？
• RQ3 当视觉变换器扩展至大参数量架构（如 644M 参数）时，所提出的归纳偏置是否依然有效？
• RQ4 与标准视觉变换器相比，该架构是否能实现更优的数据效率与更快的收敛速度？
• RQ5 归纳偏置是否能提升模型对对抗攻击的鲁棒性，并在低数据、高类别任务（如人体姿态估计）中表现更优？

主要发现

• ViTAEv2 在 ImageNet 上实现 88.5% 的 Top-1 准确率，在 ImageNet-Real 上达到 91.2%，创下新 SOTA 记录，且未使用私有数据。
• ViTAEv2-S 模型在 AP-10K 人体姿态估计基准上相较 ResNet-50 实现 3% 的绝对 AP 提升，尤其在更严格的 AP75 指标上超越 Swin-T。
• 模型展现出卓越的数据效率，相比 DeiT-T 与 T2T-ViT-7，在更少训练数据下收敛更快、性能更优。
• ViTAEv2 在 $l_∞$ 对抗攻击下表现出更强鲁棒性，优于 ViT、MLPMixer 与 ResNet 的鲁棒性基准表现。
• 归纳偏置在大规模模型中依然有效：ViTAE-H 在 ImageNet-22K 上表现强劲，证实归纳偏置可增强大规模视觉变换器性能。
• 降维与归一化单元的并行跳跃连接设计实现互补学习：注意力机制聚焦长程依赖，卷积则关注局部结构，该现象经注意力距离分析得到验证。