[论文解读] What is Where by Looking: Weakly-Supervised Open-World Phrase-Grounding without Text Inputs

Tal Shaharabany, Yoad Tewel+1 more|arXiv (Cornell University)|Jun 19, 2022

Multimodal Machine Learning Applications被引用 9

一句话总结

本文提出了一种弱监督、开放世界纯视觉短语定位方法——'What is Where by Looking'（WWbL），仅使用图像作为输入，在训练过程中不依赖任何文本或边界框标注，即可检测并定位图像中的物体。通过结合CLIP的图文匹配能力与BLIP的图像字幕生成能力，该方法在弱监督定位与短语定位任务中达到最先进性能，其表现与使用人工字幕的全监督基线相当。

ABSTRACT

Given an input image, and nothing else, our method returns the bounding boxes of objects in the image and phrases that describe the objects. This is achieved within an open world paradigm, in which the objects in the input image may not have been encountered during the training of the localization mechanism. Moreover, training takes place in a weakly supervised setting, where no bounding boxes are provided. To achieve this, our method combines two pre-trained networks: the CLIP image-to-text matching score and the BLIP image captioning tool. Training takes place on COCO images and their captions and is based on CLIP. Then, during inference, BLIP is used to generate a hypothesis regarding various regions of the current image. Our work generalizes weakly supervised segmentation and phrase grounding and is shown empirically to outperform the state of the art in both domains. It also shows very convincing results in the novel task of weakly-supervised open-world purely visual phrase-grounding presented in our work. For example, on the datasets used for benchmarking phrase-grounding, our method results in a very modest degradation in comparison to methods that employ human captions as an additional input. Our code is available at https://github.com/talshaharabany/what-is-where-by-looking and a live demo can be found at https://replicate.com/talshaharabany/what-is-where-by-looking.

研究动机与目标

• 为解决弱监督、开放世界、纯视觉短语定位这一新任务，即在训练过程中不使用任何文本或边界框标注。
• 实现在开放世界设置下的物体检测与描述，其中物体可能不在训练词汇表中。
• 在不依赖人工标注字幕作为输入的前提下，实现具有竞争力的短语定位性能。
• 证明利用预训练视觉-语言模型，弱监督定位可有效推广至开放世界视觉短语定位任务。

提出的方法

• 仅使用COCO数据集中的图像字幕进行分割网络$g$的训练，不依赖边界框或分割掩码，实现弱监督。
• 利用CLIP的图文匹配得分作为监督信号，将前景区域与对应字幕对齐。
• 采用四种损失项：前景匹配（$L_{\text{fore}}$）、背景拒绝（$L_{\text{back}}$）、CLIP的相关性图引导（$L_{\text{rmap}}$）以及掩码正则化（$L_{\text{reg}}$）。
• 推理阶段，使用选择性搜索生成物体候选区域，随后利用BLIP为每个区域生成候选短语。
• 在CLIP的嵌入空间中对生成的短语进行聚类，以避免冗余，并选择最具代表性的短语。
• 将训练好的网络$g$应用于输入完整图像与短语，预测每个短语对应的前景掩码。

实验结果

研究问题

• RQ1 弱监督方法是否能在推理阶段完全不使用文本输入的前提下，实现短语定位的最先进性能？
• RQ2 开放世界物体检测系统是否能仅通过图像级监督，泛化至未见物体类别？
• RQ3 CLIP的匹配得分与BLIP的字幕生成能力的结合，在纯视觉短语定位任务中效果如何？
• RQ4 利用CLIP生成的可解释性图谱在多大程度上提升了定位性能？
• RQ5 在COCO字幕上训练的弱监督定位模型，是否能泛化至未见图像的零样本短语定位任务？

主要发现

• 所提方法在MS-COCO数据集上达到61.03%的平均mAP，在Visual Genome数据集上达到65.95%，短语定位性能与使用人工字幕的全监督基线相当。
• 消融实验表明，若移除$L_{\text{rmap}}$损失项，性能下降超过9%，凸显其对定位准确性的关键作用。
• 最优正则化系数$\lambda_3 = 4$在CUB数据集上实现96.50%的弱监督定位准确率，且在广泛取值范围内表现稳定。
• 该方法在MS-COCO与Visual Genome两个基准测试中，均优于当前最先进弱监督定位与短语定位模型。
• 利用BLIP生成短语并结合CLIP进行匹配，实现了鲁棒且无冗余的短语聚类，显著提升了短语定位质量。
• 该方法在网页图像与BBC的'Week in Pictures'等真实世界数据集上表现出色，展现出强大的零样本泛化能力。