[论文解读] Open-Vocabulary Object Detection Using Captions

Alireza Zareian, Kevin Dela Rosa+2 more|arXiv (Cornell University)|Nov 20, 2020

Multimodal Machine Learning Applications参考文献 41被引用 17

一句话总结

本文提出开放词汇目标检测（OVD），一种新颖的两阶段方法，利用图像-字幕对预训练视觉-语义空间，并在基础类别边界框标注上微调该空间。该方法在零样本检测中达到27.5% mAP，在广义零样本设置中达到39.9% mAP，显著优于先前的最先进方法。

ABSTRACT

Despite the remarkable accuracy of deep neural networks in object detection, they are costly to train and scale due to supervision requirements. Particularly, learning more object categories typically requires proportionally more bounding box annotations. Weakly supervised and zero-shot learning techniques have been explored to scale object detectors to more categories with less supervision, but they have not been as successful and widely adopted as supervised models. In this paper, we put forth a novel formulation of the object detection problem, namely open-vocabulary object detection, which is more general, more practical, and more effective than weakly supervised and zero-shot approaches. We propose a new method to train object detectors using bounding box annotations for a limited set of object categories, as well as image-caption pairs that cover a larger variety of objects at a significantly lower cost. We show that the proposed method can detect and localize objects for which no bounding box annotation is provided during training, at a significantly higher accuracy than zero-shot approaches. Meanwhile, objects with bounding box annotation can be detected almost as accurately as supervised methods, which is significantly better than weakly supervised baselines. Accordingly, we establish a new state of the art for scalable object detection.

研究动机与目标

• 为解决监督目标检测的高昂成本和可扩展性有限问题，后者需要为每个新类别提供大量边界框标注。
• 在无需额外标注数据的情况下，实现对训练中未使用的基础类别之外对象的检测。
• 通过利用弱监督的图像-字幕数据进行开放词汇语义学习，以及利用有监督的边界框数据进行精确定位，统一识别与定位。
• 建立一种新范式，通过有效结合两种数据源，实现超越零样本和弱监督检测的泛化能力。

提出的方法

• 在大规模图像-字幕数据集上预训练Faster R-CNN主干网络，以学习丰富且开放词汇的视觉-语义嵌入空间。
• 在包含基础类别边界框标注的小型数据集上微调模型，同时保留预训练的视觉-语义知识。
• 引入视觉到语言（V2L）投影层，将图像特征映射到类别嵌入，实现对未见类别的零样本泛化。
• 在微调过程中冻结V2L层，以保持对目标类别的泛化能力，防止对基础类别过拟合。
• 使用多模态Transformer模块在预训练期间联合优化定位和辅助目标，增强语义对齐。
• 将ResNet和V2L权重从预训练阶段迁移至下游检测任务，确保有效知识迁移。

实验结果

研究问题

• RQ1 在未为这些类别提供任何边界框标注的情况下，仅在图像-字幕对上进行训练的模型是否能泛化到检测和定位训练期间未见过的对象类别？
• RQ2 与标准零样本学习方法相比，基于图像-字幕数据的预训练在多大程度上提升了零样本检测性能？
• RQ3 当与有限的边界框标注结合时，字幕提供的弱监督信号在多大程度上能提升检测性能？
• RQ4 预训练和微调流程中的哪些组件对实现强大的零样本泛化能力最为关键？

主要发现

• OVR-CNN在零样本检测中达到27.5% mAP，较之前最先进方法（10% mAP）提升17个百分点。
• 在广义零样本设置中，OVR-CNN达到39.9% mAP，显著优于弱监督基线方法（26% mAP）。
• 消融实验表明，图像-字幕数据的预训练至关重要，若去除该阶段，所有类别的mAP将降至18.1%。
• V2L层对泛化至关重要；若在微调过程中解冻该层，零样本性能将从27.5% mAP下降至23.4% mAP。
• 即使使用低质量的Conceptual Captions数据，OVR-CNN仍达到34.3% mAP，优于所有ZSD基线方法，表明对噪声数据具有鲁棒性。
• 仅迁移ResNet权重是不够的；迁移V2L层对于实现有效知识迁移和开放词汇泛化至关重要。