[论文解读] Unsupervised Object-Level Representation Learning from Scene Images

Jiahao Xie, Xiaohang Zhan+3 more|arXiv (Cornell University)|Jun 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 74被引用 7

一句话总结

本文提出物体级表示学习（ORL），一种自监督框架，利用预训练的图像级对比学习作为先验，无需标注即可在场景图像中发现跨图像的物体实例对应关系。通过在嵌入空间中使用k-NN相似性，ORL识别出图像间语义对齐的物体区域，从而实现高效的物体级对比学习，在COCO下游任务中的表现超越了使用ImageNet进行监督预训练的结果，尤其在更多无标签数据下表现更优。

ABSTRACT

Contrastive self-supervised learning has largely narrowed the gap to supervised pre-training on ImageNet. However, its success highly relies on the object-centric priors of ImageNet, i.e., different augmented views of the same image correspond to the same object. Such a heavily curated constraint becomes immediately infeasible when pre-trained on more complex scene images with many objects. To overcome this limitation, we introduce Object-level Representation Learning (ORL), a new self-supervised learning framework towards scene images. Our key insight is to leverage image-level self-supervised pre-training as the prior to discover object-level semantic correspondence, thus realizing object-level representation learning from scene images. Extensive experiments on COCO show that ORL significantly improves the performance of self-supervised learning on scene images, even surpassing supervised ImageNet pre-training on several downstream tasks. Furthermore, ORL improves the downstream performance when more unlabeled scene images are available, demonstrating its great potential of harnessing unlabeled data in the wild. We hope our approach can motivate future research on more general-purpose unsupervised representation learning from scene data.

研究动机与目标

• 为解决标准对比自监督学习在复杂场景图像上因随机裁剪导致的物体级信号不一致而失效的问题。
• 在无物体标注的情况下，利用预训练图像级对比模型的潜在先验，发现图像间的物体级对应关系。
• 开发一种多阶段自监督流程，实现从无标签场景图像中进行物体级表示学习。
• 证明当在大规模场景数据上训练时，物体级表示学习在下游任务中的表现可超越监督的ImageNet预训练。

提出的方法

• 使用无监督区域提议方法（如选择性搜索）从场景图像中提取候选物体区域。
• 利用预训练的图像级对比学习模型（如BYOL）提取图像特征，并识别对应于物体或物体部分的高响应区域。
• 在嵌入空间中应用k-最近邻（k-NN）搜索，发现不同图像之间的区域对应关系。
• 基于发现的跨图像物体-实例对应关系构建对比学习的正样本对。
• 训练一种多阶段自监督框架，利用发现的正样本对优化物体级对比学习。
• 将所得的物体级表示用于目标检测、分割和分类等下游任务的迁移学习。

实验结果

研究问题

• RQ1 图像级对比自监督学习模型是否隐式编码了用于发现图像间物体级对应关系的先验？
• RQ2 此类先验是否可被利用，以实现在无标注复杂场景图像上的无监督物体级表示学习？
• RQ3 当在COCO等大规模场景数据集上预训练时，物体级对比学习是否优于标准图像级对比学习？
• RQ4 随着无标签场景数据量的增加，物体级表示学习的性能是否能够持续提升？
• RQ5 当在COCO上训练时，物体级表示学习是否可超越监督的ImageNet预训练在下游任务中的表现？

主要发现

• 在COCO目标检测任务中，ORL达到39.5 mAP，优于监督ImageNet预训练的38.5 mAP。
• 在COCO实例分割任务中，ORL达到35.4 mAP，优于监督ImageNet预训练的34.8 mAP。
• ORL的性能随无标签场景图像数量的增加而提升，展现出在大规模真实数据上的强可扩展性。
• 该方法能发现图像间语义对齐的物体-实例对，且嵌入空间中的高响应区域始终对应于实际物体或物体部分。
• ORL的注意力图在物体边界定位上比图像级BYOL更准确，表明其具有更好的物体感知特征学习能力。
• 在COCO上复现BYOL得到39.5 mAP，确认了基线性能并验证了实验设置的可靠性。