[论文解读] Region-centric Image-Language Pretraining for Open-Vocabulary Detection

Dahun Kim, Anelia Angelova+1 more|arXiv (Cornell University)|Sep 29, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

本文提出 DITO，一种面向检测的图像-文本自监督预训练方法，通过使用检测器架构替代标准的分类式预训练，仅使用对比损失从噪声图像-文本对中学习区域级别的开放词汇物体表征。通过在大规模图像-文本数据上直接训练检测头，并引入移位窗口学习以提升特征鲁棒性，DITO 在 LVIS 上达到 40.4 mask APr，在 COCO 上达到 40.8 novel AP，超越了最先进方法，且无需伪标签。

ABSTRACT

We present a new open-vocabulary detection approach based on region-centric image-language pretraining to bridge the gap between image-level pretraining and open-vocabulary object detection. At the pretraining phase, we incorporate the detector architecture on top of the classification backbone, which better serves the region-level recognition needs of detection by enabling the detector heads to learn from large-scale image-text pairs. Using only standard contrastive loss and no pseudo-labeling, our approach is a simple yet effective extension of the contrastive learning method to learn emergent object-semantic cues. In addition, we propose a shifted-window learning approach upon window attention to make the backbone representation more robust, translation-invariant, and less biased by the window pattern. On the popular LVIS open-vocabulary detection benchmark, our approach sets a new state of the art of 37.6 mask APr using the common ViT-L backbone and public LAION dataset, and 40.5 mask APr using the DataComp-1B dataset, significantly outperforming the best existing approach by +3.7 mask APr at system level. On the COCO benchmark, we achieve very competitive 39.6 novel AP without pseudo labeling or weak supervision. In addition, we evaluate our approach on the transfer detection setup, where it demonstrates notable improvement over the baseline. Visualization reveals emerging object locality from the pretraining recipes compared to the baseline.

研究动机与目标

• 通过在预训练过程中学习区域级别的表征，弥合图像级别预训练与开放词汇物体检测之间的差距。
• 使检测头能够从大规模、噪声的图像-文本对中学习，而无需伪标签或额外监督信号。
• 通过一种新颖的移位窗口学习策略，提升视觉 Transformer 的鲁棒性，并减少窗口注意力机制在检测任务中的偏差。
• 在不依赖弱监督或联合训练的前提下，实现在开放词汇检测基准上的最先进性能。
• 证明在预训练阶段使用检测器架构能够激发物体定位能力，并提升对新类别的泛化能力。

提出的方法

• 在预训练过程中，用检测头替代标准的图像分类头，以从图像-文本对中获得区域级别的监督信号。
• 通过在多个特征金字塔层级上随机采样区域并应用 RoI 池化，实现多尺度的图像-文本监督。
• 对 RoI 特征实施最大池化操作，聚合区域级别的特征，提升与文本查询的对齐能力。
• 通过在感受野中应用步长大于窗口大小的非重叠窗口注意力机制，引入移位窗口学习（SWL），以减少模式偏差并提升平移不变性。
• 仅使用图像-文本对的对比损失进行训练，不引入其他目标函数或伪标签。
• 在下游检测数据集上使用标准检测头训练方式对完整检测器进行微调。

Figure 1: DITO method. Detection-Oriented Pretraining (left): DITO trains the detector heads (e.g. FPN (Li et al., 2022b ; Lin et al., 2017a ) , Faster RCNN head (Ren et al., 2015 ) ) upon a ViT encoder backbone with multi-level image-text contrastive loss to bridge the gap between image-text pretra

实验结果

研究问题

• RQ1 在图像-文本预训练过程中直接训练检测头，是否能在无额外监督的情况下提升开放词汇检测性能？
• RQ2 将基于分类的预训练替换为基于检测的预训练，是否能带来更好的定位能力与对新类别的泛化能力？
• RQ3 移位窗口学习能否缓解标准窗口注意力机制在视觉 Transformer 检测任务中引入的偏差？
• RQ4 在 LVIS 和 COCO 上，与现有方法相比，面向检测的预训练在零样本和少样本泛化能力方面表现如何？
• RQ5 在未使用显式边界框监督的情况下，预训练特征在多大程度上学习到了局部化、物体感知的表征？

主要发现

• DITO 在使用 ViT-L 主干网络的情况下，在 LVIS 开放词汇检测基准上达到 40.4 mask APr，系统级性能相比之前最佳方法提升 +6.5 APr。
• 在引入外部框标注的设置下，DITO 达到 45.8 box APr，相比之前最先进方法显著提升 +12.5 点。
• 在 COCO 基准上，DITO 在未使用伪标签或弱监督的情况下实现 40.8 novel AP，展现出对新类别的强大泛化能力。
• 消融实验表明，在冻结主干网络和微调检测器中均使用移位窗口学习，可带来最大的性能增益（+4.1 APr）。
• SWL 的最优窗口大小为 4×4，相比全全局注意力（1×1 网格）提升 +4.6 APr。
• 可视化结果表明，与基线特征相比，DITO 特征能学习到更局部化的语义表征，尤其在未见或新类别物体上表现更优。

Figure 2: Visual-text similarity map . For each example, we show the paired image (left) and text (bottom) input, and the visual-text similarity map using the backbone features (middle) or our detection-oriented pretraining features (right). We use Flickr30K (top row) and COCO Captions (bottom row)