[论文解读] Peripheral Vision Transformer

Juhong Min, Yucheng Zhao+2 more|arXiv (Cornell University)|Jun 14, 2022

CCD and CMOS Imaging SensorsEngineering被引用 18

一句话总结

本文提出PerViT，一种通过新颖的多头周边注意力（MPA）机制注入周边归纳偏置的视觉Transformer，使网络能够学习类似人类周边视觉的层次化视觉感知。通过基于注视距离建模环形区域上的注意力，PerViT在多种模型尺寸下均实现了ImageNet-1K上的最先进准确率，相较于DeiT基线模型最高提升4.2%的top-1准确率。

ABSTRACT

Human vision possesses a special type of visual processing systems called peripheral vision. Partitioning the entire visual field into multiple contour regions based on the distance to the center of our gaze, the peripheral vision provides us the ability to perceive various visual features at different regions. In this work, we take a biologically inspired approach and explore to model peripheral vision in deep neural networks for visual recognition. We propose to incorporate peripheral position encoding to the multi-head self-attention layers to let the network learn to partition the visual field into diverse peripheral regions given training data. We evaluate the proposed network, dubbed PerViT, on ImageNet-1K and systematically investigate the inner workings of the model for machine perception, showing that the network learns to perceive visual data similarly to the way that human vision does. The performance improvements in image classification over the baselines across different model sizes demonstrate the efficacy of the proposed method.

研究动机与目标

• 通过将人类周边视觉的生物原理融入深度神经网络，弥合人类视觉与机器视觉之间的差距。
• 通过基于注视中心距离的区域特定注意力，解决标准自注意力在建模空间层次结构方面的局限性。
• 通过使Transformer能够同时学习细粒度局部特征与粗粒度全局上下文，提升视觉识别性能，类似人类视觉系统。
• 验证所提机制是否能产生类似人类视觉处理的注意力模式，且无需显式监督。
• 证明周边归纳偏置在不同模型尺寸和下游任务中的有效性。

提出的方法

• 该方法引入一种周边位置编码（Φp），根据图像中心的距离分配位置嵌入，建模环形注意力区域。
• 提出多头周边注意力（MPA）层，通过具有3×3局部感受野的可学习投影头，将查询和键投影到周边区域。
• MPA机制使用归一化坐标（[-1,1]）以稳定训练，并确保注意力计算中的空间一致性。
• 模型采用混合架构，包含四个阶段，每个阶段的通道维度和注意力头数逐步增加，以捕捉多尺度特征。
• 周边投影头的维度为4×N_h，邻域大小K=3，用于捕捉周边表示中的局部空间上下文。
• 训练遵循DeiT的训练方案，采用数据增强、标签平滑和Mixup，使用AdamW优化器和余弦退火学习率衰减。

实验结果

研究问题

• RQ1 在自注意力层中注入周边归纳偏置是否能提升视觉Transformer的视觉识别性能？
• RQ2 所提出的PerViT模型的注意力图是否表现出类似人类周边视觉的层次化模式，即中心区域关注细粒度细节，周边区域关注全局上下文？
• RQ3 与标准可学习位置嵌入相比，所提出的周边位置编码在准确率和效率方面表现如何？
• RQ4 该模型在CIFAR-100和iNaturalist-19等迁移学习任务中是否具备良好的泛化能力？
• RQ5 周边注意力机制是否能在不同模型尺寸下有效工作，而无需进行架构重构？

主要发现

• PerViT在ImageNet-1K上的top-1准确率相比DeiT基线最高提升4.2%，其中Tiny模型的提升最为显著。
• 周边位置编码（Φp）对性能贡献显著，在所有模型尺寸下均带来1.4%至4.2%的准确率增益，尽管其参数量不足总模型参数的0.6%。
• 模型展现出强大的泛化能力，在CIFAR-100和iNaturalist-19上分别比DeiT-B高出约1%p，且在CIFAR-10上表现相当。
• 注意力图的定性分析显示，浅层网络关注中心区域以捕捉细粒度细节，而深层网络则关注全局周边区域，模拟人类视觉处理机制。
• 该方法计算高效，周边编码引入的参数量极少（PerViT-M中仅0.31M参数），且FLOPs保持较低水平。
• 模型在不同训练方案和数据增强策略（包括RandAugment和mixup）下性能稳定，表明其具备强大的泛化能力。