[论文解读] RegionCLIP: Region-based Language-Image Pretraining

Yiwu Zhong, Jianwei Yang+9 more|arXiv (Cornell University)|Dec 16, 2021

Multimodal Machine Learning Applications被引用 12

一句话总结

RegionCLIP 提出了一种基于区域的视觉-语言预训练方法，通过使用预训练的 CLIP 模型生成伪区域描述，学习图像区域与文本概念之间的细粒度对齐。通过在伪区域-文本对和真实图像-文本对上联合进行对比学习与知识蒸馏进行预训练，RegionCLIP 在开放词汇目标检测任务上达到最先进性能，在 COCO 和 LVIS 上分别超越之前方法 3.8 AP50 和 2.2 AP，同时实现了强大的零样本检测能力。

ABSTRACT

Contrastive language-image pretraining (CLIP) using image-text pairs has achieved impressive results on image classification in both zero-shot and transfer learning settings. However, we show that directly applying such models to recognize image regions for object detection leads to poor performance due to a domain shift: CLIP was trained to match an image as a whole to a text description, without capturing the fine-grained alignment between image regions and text spans. To mitigate this issue, we propose a new method called RegionCLIP that significantly extends CLIP to learn region-level visual representations, thus enabling fine-grained alignment between image regions and textual concepts. Our method leverages a CLIP model to match image regions with template captions and then pretrains our model to align these region-text pairs in the feature space. When transferring our pretrained model to the open-vocabulary object detection tasks, our method significantly outperforms the state of the art by 3.8 AP50 and 2.2 AP for novel categories on COCO and LVIS datasets, respectively. Moreoever, the learned region representations support zero-shot inference for object detection, showing promising results on both COCO and LVIS datasets. Our code is available at https://github.com/microsoft/RegionCLIP.

研究动机与目标

• 解决基于 CLIP 的模型在图像级与区域级视觉理解之间的领域偏移问题。
• 在无需人工区域级标注的情况下，实现图像区域与文本片段之间的细粒度对齐。
• 提升开放词汇目标检测任务中的零样本和迁移学习性能。
• 开发一种可扩展的方法，用于生成超出每张图像配对文本的区域描述。
• 弥合视觉-语言模型中图像级预训练与区域级识别之间的差距。

提出的方法

• 利用预训练的 CLIP 模型，通过将物体概念填入预设模板，生成伪区域-文本对。
• 使用预训练的 CLIP 模型将候选图像区域与合成描述进行匹配，生成噪声但有用的监督信号。
• 通过对比学习，使用真实图像-文本对和生成的伪区域-文本对对新视觉-语言模型进行预训练。
• 应用知识蒸馏，将教师模型（CLIP）中的对齐知识迁移至学生模型（RegionCLIP）。
• 采用双分支架构，学习图像区域的联合视觉与文本表示。
• 在微调过程中使用焦点缩放，以平衡基础类别与新类别在目标检测中的性能。

实验结果

研究问题

• RQ1 基于图像-文本对预训练的视觉-语言模型能否有效适应目标检测中的区域级理解？
• RQ2 如何在无需人工标注区域描述的情况下，学习图像区域与文本标记之间的细粒度对齐？
• RQ3 使用伪标签区域-文本对对下游目标检测性能有何影响？
• RQ4 基于区域的预训练在多大程度上能实现对新类别的零样本目标检测？
• RQ5 教师模型的选择与主干网络架构如何影响学生模型 RegionCLIP 的性能？

主要发现

• 在开放词汇目标检测任务中，RegionCLIP 在 COCO 数据集的新类别上相比之前最先进方法实现了 3.8 AP50 的提升。
• 在 LVIS 数据集上，RegionCLIP 相较于先前方法在新类别上实现了 2.2 点的 AP 提升。
• 在 COCO 的广义零样本设置下（17 个基础类别与 48 个新类别），RegionCLIP 达到 39.3 AP50，比 CLIP 提升 7.9 分。
• 在包含 1203 个类别的 LVIS 上进行零样本推理时，RegionCLIP 能够正确预测高置信度标签，如 'teddy bear'（99.5% 置信度），而 CLIP 无法做到。
• 即使在失败案例中，RegionCLIP 也会预测视觉上相似的概念，如 'ferret' 或 'shepherd dog'，而 CLIP 则预测语义无关的概念，如 'grizzly' 或 'gorilla'。
• 消融实验证实，焦点缩放能提升新类别上的泛化能力，且教师模型的质量显著影响零样本性能。