[论文解读] Visual Transformer for Object Detection

Michael Ying Yang|arXiv (Cornell University)|Jun 1, 2022

Multimodal Machine Learning Applications被引用 9

一句话总结

本文提出DetTransNet，一种基于视觉Transformer的物体检测器，通过使用重叠图像块来提升全局上下文建模与目标定位能力。通过用自注意力机制替代传统的卷积层，并优化特征丰富度的分块策略，DetTransNet在COCO数据集上实现了最先进性能，mAP达到45.4，优于先前方法（包括De-DETR）1.6 mAP。

ABSTRACT

Convolutional Neural networks (CNN) have been the first choice of paradigm in many computer vision applications. The convolution operation however has a significant weakness which is it only operates on a local neighborhood of pixels, thus it misses global information of the surrounding neighbors. Transformers, or Self-attention networks to be more specific, on the other hand, have emerged as a recent advance to capture long range interactions of the input, but they have mostly been applied to sequence modeling tasks such as Neural Machine Translation, Image captioning and other Natural Language Processing tasks. Transformers has been applied to natural language related tasks and achieved promising results. However, its applications in visual related tasks are far from being satisfying. Taking into consideration of both the weaknesses of Convolutional Neural Networks and those of the Transformers, in this paper, we consider the use of self-attention for discriminative visual tasks, object detection, as an alternative to convolutions. In this paper, we propose our model: DetTransNet. Extensive experiments show that our model leads to consistent improvements in object detection on COCO across many different models and scales, including ResNets, while keeping the number of parameters similar. In particular, our method achieves a 1.2% Average Precision improvement on COCO object detection task over other baseline models.

研究动机与目标

• 通过用自注意力机制替代卷积操作，解决CNN在捕捉全局图像上下文方面的局限性。
• 通过重新设计分块策略，克服标准视觉Transformer在物体检测中（尤其是小物体检测）表现不佳的问题。
• 开发一种基于视觉Transformer的物体检测器，其精度与基于CNN的检测器相当或更优，同时保持相近的参数量。
• 通过利用重叠块实现更丰富的局部与全局特征表示，提升训练效率与泛化能力。

提出的方法

• 引入重叠图像块，使每个块与相邻块共享m个像素，以增强局部结构建模与特征连续性。
• 采用带有可学习位置嵌入的视觉Transformer主干网络，处理重叠块序列，实现图像范围内的长程注意力。
• 使用区域建议网络（RPN），其由全卷积层构成，生成物体建议，类似于Faster R-CNN，但输入特征来自ViT编码器。
• 采用混合训练策略：先对RPN进行预训练，再使用Adam优化器与权重衰减，联合微调ViT与RPN。
• 在ImageNet与JFT上进行大规模预训练，以提升在较小COCO数据集上的泛化能力。
• 采用块投影头，将空间维度展平并投影至模型隐藏维度，形成Transformer的输入序列。

实验结果

研究问题

• RQ1 基于视觉Transformer的物体检测器能否在物体检测精度上超越基于CNN的检测器（如Faster R-CNN）？
• RQ2 在视觉Transformer中使用重叠块是否能提升特征表示与检测性能，尤其是在小物体检测方面？
• RQ3 纯Transformer架构能否在不依赖卷积归纳偏置的情况下实现强大的物体检测性能？
• RQ4 与标准非重叠块相比，所提出的重叠分块方法在训练效率与泛化能力方面表现如何？

主要发现

• DetTransNet在COCO 2017物体检测数据集上实现了45.4 mAP，创下新的最先进结果。
• 与De-DETR相比，mAP提升1.2%；与之前最佳基线De-DETR相比，mAP提升1.6%。
• 重叠分块方法显著提升了小物体检测性能，AP_small从De-DETR的21.2提升至22.5。
• 模型保持了与ResNet-based检测器相近的参数量，表明其在不牺牲性能的前提下具备高效性。
• 在ImageNet与JFT上进行预训练显著提升了性能，证明大规模预训练对视觉Transformer的重要性。
• 消融研究证实，与标准分块相比，重叠分块能增强特征丰富度并降低训练不稳定性。