[论文解读] Unsupervised Object Discovery and Localization in the Wild: Part-based Matching with Bottom-up Region Proposals

Minsu Cho, Suha Kwak+2 more|arXiv (Cornell University)|Jan 25, 2015

Advanced Image and Video Retrieval Techniques参考文献 52被引用 43

一句话总结

该论文提出了一种基于部件的区域匹配方法，结合自底向上的区域提议与概率霍夫变换，以在无任何标注的完全无监督图像集合中发现并定位具有多个物体类别且无标注的主导物体。通过测量区域在其包含区域中的显著性，该方法利用显著性得分识别显著区域，在共定位基准测试中达到最先进性能，并在具有挑战性的混合类别数据集中实现稳健的定位。

ABSTRACT

This paper addresses unsupervised discovery and localization of dominant objects from a noisy image collection with multiple object classes. The setting of this problem is fully unsupervised, without even image-level annotations or any assumption of a single dominant class. This is far more general than typical colocalization, cosegmentation, or weakly-supervised localization tasks. We tackle the discovery and localization problem using a part-based region matching approach: We use off-the-shelf region proposals to form a set of candidate bounding boxes for objects and object parts. These regions are efficiently matched across images using a probabilistic Hough transform that evaluates the confidence for each candidate correspondence considering both appearance and spatial consistency. Dominant objects are discovered and localized by comparing the scores of candidate regions and selecting those that stand out over other regions containing them. Extensive experimental evaluations on standard benchmarks demonstrate that the proposed approach significantly outperforms the current state of the art in colocalization, and achieves robust object discovery in challenging mixed-class datasets.

研究动机与目标

• 在无任何标注（包括多类别物体和噪声图像）的真实世界图像集合中，实现无监督物体发现与定位。
• 克服现有方法依赖图像级别标签、单类别假设或已知类别数量的局限性。
• 开发一种完全无监督的框架，无需监督即可发现物体及其部件。
• 在类别不平衡、多类别数据集中实现稳健定位，解决以往方法因类别频率偏差而失效的问题。
• 引入基于显著性的选择机制，从候选区域中识别出主导物体实例。

提出的方法

• 生成多尺度自底向上的区域提议，为所有图像中的物体和部件形成候选区域。
• 应用概率霍夫变换，基于外观与空间一致性在图像间匹配候选区域，并分配置信度得分。
• 使用显著性得分识别那些在其所包含区域中更为显著的区域，从而实现前景物体的定位。
• 通过迭代交替进行基于部件的区域匹配与前景定位，以优化物体提议。
• 利用匹配部件的空间与外观一致性，在无任何监督的情况下发现物体实例。
• 避免依赖外部监督信号，如预训练特征、显著性图或负样本数据，以保持完全无监督特性。

实验结果

研究问题

• RQ1 在具有多个物体类别且无图像级别标注的完全无监督设置下，能否有效实现无监督物体发现？
• RQ2 基于部件的匹配在混合类别、噪声图像集合中如何提升物体定位的鲁棒性？
• RQ3 所提出的显著性得分在识别主导物体方面，相较于传统显著性或聚类方法，优势有多大？
• RQ4 在类别不平衡条件下，尤其是低频物体类别中，该方法表现如何？
• RQ5 基于部件的匹配能否在无监督条件下泛化到语义相似但不同的物体类别（如汽车与公共汽车）？

主要发现

• 所提方法在标准共定位基准测试中达到最先进性能，优于以往的无监督与弱监督方法。
• 在 PASCAL 07-all 混合类别数据集上，该方法实现了 61.6% 的 CorLoc 与 31.5% 的 CorRet，证明了在完全无监督设置下具备强大的定位与检索能力。
• 尽管存在类别不平衡，该方法仍保持相对稳定性能，高频类别 CorLoc 仅下降 1.2%，低频类别下降 9.4%。
• 即使邻近图像中包含不同类别（如在汽车与沙发存在的情况下定位一辆公共汽车），该方法仍能成功定位物体，表明其在相似物体类型间具备良好泛化能力。
• 图 8 的混淆矩阵显示，检索性能受类别频率影响，但定位性能仍有效，归因于基于部件的匹配与显著性评分机制。
• 尽管处于完全无监督设置，该方法在性能上已接近使用图像级别标签的弱监督定位方法。