[论文解读] PromptDet: Towards Open-vocabulary Detection using Uncurated Images

Chengjian Feng, Yujie Zhong+6 more|arXiv (Cornell University)|Mar 30, 2022

Multimodal Machine Learning Applications被引用 12

一句话总结

PromptDet 提出了一种可扩展的、零样本开放词汇目标检测框架，通过冻结的 CLIP 文本编码器和区域提示学习，对齐视觉与文本嵌入，实现无需人工标注即可检测新类别。该方法仅使用 0.1M 未筛选的网络图像，训练成本显著降低，便在新类别 LVIS 上实现了 21.4 AP 的最先进性能。

ABSTRACT

The goal of this work is to establish a scalable pipeline for expanding an object detector towards novel/unseen categories, using zero manual annotations. To achieve that, we make the following four contributions: (i) in pursuit of generalisation, we propose a two-stage open-vocabulary object detector, where the class-agnostic object proposals are classified with a text encoder from pre-trained visual-language model; (ii) To pair the visual latent space (of RPN box proposals) with that of the pre-trained text encoder, we propose the idea of regional prompt learning to align the textual embedding space with regional visual object features; (iii) To scale up the learning procedure towards detecting a wider spectrum of objects, we exploit the available online resource via a novel self-training framework, which allows to train the proposed detector on a large corpus of noisy uncurated web images. Lastly, (iv) to evaluate our proposed detector, termed as PromptDet, we conduct extensive experiments on the challenging LVIS and MS-COCO dataset. PromptDet shows superior performance over existing approaches with fewer additional training images and zero manual annotations whatsoever. Project page with code: https://fcjian.github.io/promptdet.

研究动机与目标

• 实现对未见新类别的开放词汇目标检测，且无需人工标注。
• 弥合目标检测器生成的视觉表征与预训练视觉-语言模型生成的文本嵌入之间的分布差距。
• 通过自训练方法，利用噪声大、未筛选的网络图像，将检测能力扩展到更广泛的物体类别。
• 通过减少对高分辨率输入、大量微调或知识蒸馏的依赖，降低训练成本。
• 在 LVIS 和 MS-COCO 基准上，以极少的人工数据实现最先进性能。

提出的方法

• 采用两阶段目标检测器，使用冻结的 CLIP 文本编码器作为分类器生成器，避免对文本编码器进行端到端微调。
• 提出区域提示学习（RPL），通过优化可学习的提示向量，将文本嵌入空间与 RPN 候选区域生成的以物体为中心的视觉特征对齐。
• 构建自训练框架，通过更新后的提示迭代从网络检索候选图像，并生成伪标签用于训练。
• 使用前 K 个（K=20）置信度高的 RPN 候选区域进行伪标签生成，以提升鲁棒性并避免噪声预测。
• 使用来自未筛选图像的伪标签数据，对检测器的视觉主干网络和类别无关的 RPN 头进行训练，同时保持文本编码器冻结。
• 通过从高置信度图像候选开始，并逐步通过迭代自训练优化提示和检测器，采用课程学习策略。

实验结果

研究问题

• RQ1 在不进行微调的情况下，冻结的 CLIP 文本编码器能否有效适配于开放词汇目标检测？
• RQ2 当视觉特征为以物体为中心、而文本特征为与图像无关时，如何对齐视觉与文本潜在空间？
• RQ3 尽管数据存在噪声，利用未筛选的网络图像进行自训练是否能显著提升零样本检测性能？
• RQ4 在目标检测场景下，区域提示学习是否优于标准提示微调？
• RQ5 检测器能否在仅使用极少训练数据和计算成本的情况下，实现在 LVIS 和 COCO 上的最先进性能？

主要发现

• PromptDet 在 LVIS v1.0 验证集的新类别上达到 21.4 AP，优于之前最先进方法 ViLD-ens 的 4.8 AP 和 Detic 的 3.6 AP。
• 仅使用 72 个训练周期和 0.1M 未筛选的网络图像，PromptDet 的性能已超越使用 120 万张人工标注图像的 Detic。
• 在 MS-COCO 开放词汇基准（48 个基础类别，17 个新类别）上，PromptDet 在新类别上达到 26.6 AP，总体 AP 为 50.6，优于 Detic 的 24.1 和 44.7 AP。
• 使用前 20 个 RPN 候选区域进行自训练可获得最佳性能（新类别 AP 为 19.0），而使用全部候选区域则导致性能下降至 10.4 AP。
• 冻结 CLIP 文本编码器，仅微调视觉主干网络和 RPN，新类别检测 AP 下降 1.8，凸显了基于提示的适配的重要性。
• 将训练扩展至 72 个周期，使常见类别和频繁类别的 AP 分别从 18.5 提升至 23.3，从 25.8 提升至 29.3。