[论文解读] Unsupervised Discovery of Object Landmarks via Contrastive Learning

Zezhou Cheng, Jong-Chyi Su+1 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Image and Video Retrieval Techniques参考文献 49被引用 5

一句话总结

本文提出一种对比学习方法，利用几何和光照数据增强，在无监督条件下发现物体关键点。通过训练深度网络使其对这些变换保持不变，中间层特征表示对关键点具有高度预测性，通过超列（hypercolumn）将多层特征堆叠后进一步提升性能，在标准基准和新提出的基准上均超越了先前最先进方法。

ABSTRACT

Given a collection of images, humans are able to discover landmarks of the depicted objects by modeling the shared geometric structure across instances. This idea of geometric equivariance has been widely used for unsupervised discovery of object landmark representations. In this paper, we develop a simple and effective approach based on contrastive learning of invariant representations. We show that when a deep network is trained to be invariant to geometric and photometric transformations, representations from its intermediate layers are highly predictive of object landmarks. Furthermore, by stacking representations across layers in a hypercolumn their effectiveness can be improved. Our approach is motivated by the phenomenon of the gradual emergence of invariance in the representation hierarchy of a deep network. We also present a unified view of existing equivariant and invariant representation learning approaches through the lens of contrastive learning, shedding light on the nature of invariances learned. Experiments on standard benchmarks for landmark discovery, as well as a challenging one we propose, show that the proposed approach surpasses prior state-of-the-art.

研究动机与目标

• 开发一种无需标注关键点数据的无监督方法，用于发现物体关键点。
• 探究对几何和光照变换的不变性是否能产生对物体关键点具有预测性的表征。
• 探索分层特征堆叠（超列）如何提升关键点预测性能。
• 通过对比学习的视角统一现有的等变与不变表征学习方法。
• 在标准基准和新提出的具有挑战性的关键点发现基准上评估该方法。

提出的方法

• 使用对比学习训练深度神经网络，学习对几何和光照数据增强具有不变性的表征。
• 从训练好的网络中提取中间层特征，这些特征由于学习到的不变性而对物体关键点具有高度预测性。
• 通过在多个网络层之间堆叠特征图构建超列，以增强表征质量并提升关键点检测性能。
• 利用深度网络中不变性分层涌现的特性，其中低层捕捉局部结构，高层捕捉全局结构。
• 使用对比损失，促使正样本对（同一图像的增强视图）具有相似的表征，同时将负样本对相互推开。
• 通过自监督方式回归到真实关键点位置，利用学习到的表征预测关键点。

实验结果

研究问题

• RQ1 对几何和光照变换的不变性是否能在无监督设置下导致有意义的物体关键点发现？
• RQ2 深度网络表征的分层结构如何促进关键点发现？
• RQ3 通过堆叠多层特征（超列）在多大程度上提升了关键点预测性能？
• RQ4 该对比学习方法与现有等变与不变表征学习方法在关键点发现方面相比如何？
• RQ5 所提出的方法是否能在具有挑战性、此前未测试过的无监督关键点发现基准上实现泛化？

主要发现

• 所提出的对比学习方法在标准无监督物体关键点发现基准上达到了最先进性能。
• 经过对比学习训练的网络中间层特征即使在无显式监督下，也对物体关键点具有高度预测性。
• 通过超列将多层特征堆叠后，关键点检测准确率显著优于仅使用单一层的特征。
• 该方法在新提出的具有挑战性的基准上表现出强大的泛化能力，证实了其鲁棒性与有效性。
• 本研究为等变与不变表征学习提供了统一视角，表明对比学习自然捕捉了关键点发现相关的不变性。
• 结果支持了如下假设：不变性通过网络层次结构逐步涌现，中间层是关键点表征学习的最佳选择。