[论文解读] Unsupervised Representation Learning by InvariancePropagation

Feng Wang, Huaping Liu+2 more|arXiv (Cornell University)|Oct 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 41被引用 21

一句话总结

本文提出了一种名为不变性传播（Invariance Propagation, InvP）的新颖无监督表示学习方法，通过在表示空间中递归传播k近邻关系，发现语义一致的、类别级别的正样本。通过聚焦于具有高类内差异性的困难正样本，InvP实现了最先进性能，在仅使用1%标注数据微调的情况下，ImageNet线性分类任务上达到71.3%的top-1准确率和78.2%的top-5准确率。

ABSTRACT

Unsupervised learning methods based on contrastive learning have drawn increasing attention and achieved promising results. Most of them aim to learn representations invariant to instance-level variations, which are provided by different views of the same instance. In this paper, we propose Invariance Propagation to focus on learning representations invariant to category-level variations, which are provided by different instances from the same category. Our method recursively discovers semantically consistent samples residing in the same high-density regions in representation space. We demonstrate a hard sampling strategy to concentrate on maximizing the agreement between the anchor sample and its hard positive samples, which provide more intra-class variations to help capture more abstract invariance. As a result, with a ResNet-50 as the backbone, our method achieves 71.3% top-1 accuracy on ImageNet linear classification and 78.2% top-5 accuracy fine-tuning on only 1% labels, surpassing previous results. We also achieve state-of-the-art performance on other downstream tasks, including linear classification on Places205 and Pascal VOC, and transfer learning on small scale datasets.

研究动机与目标

• 为解决对比学习方法仅关注实例级别不变性的问题，通过实例间关系学习类别级别不变性。
• 通过从表示空间的高密度区域发现具有丰富类内差异的正样本，提升表示的鲁棒性。
• 开发一种困难采样策略，强调与锚点相似度较低的正样本，以增强学习特征的抽象能力和不变性。
• 在无需人工标注标签的情况下，在下游任务（如线性分类、迁移学习和半监督学习）中实现最先进性能。

提出的方法

• InvP在嵌入空间中构建k近邻（k-NN）图，递归传播局部不变性，并从同一类别中识别语义一致的正样本。
• 该方法确保正样本位于高密度区域，符合半监督学习中的平滑性假设，从而提升泛化能力。
• 引入一种困难采样策略，优先选择与锚点相似度较低的正样本，以提供更强的类内差异，促进更好的不变性学习。
• 模型通过对比目标函数最大化锚点与其困难正样本之间的一致性，同时分离负样本。
• 在训练过程中动态更新k-NN图，以反映演变的表示并保持语义一致性。
• 主干网络（如ResNet-50）通过对比损失端到端优化，鼓励正样本对聚类。

实验结果

研究问题

• RQ1 通过实例间关系学习类别级别不变性，是否能超越实例级别不变性，提升无监督表示学习性能？
• RQ2 在表示空间中递归k-NN传播如何帮助发现语义一致的正样本？
• RQ3 聚焦于与锚点相似度较低的困难正样本（即低相似度正样本）是否能提升学习表示的鲁棒性和抽象能力？
• RQ4 InvP是否能在无需标签的情况下，在线性评估、迁移学习和半监督学习基准上实现最先进性能？

主要发现

• 在仅使用1%标注数据微调的情况下，InvP在ImageNet线性分类任务中达到71.3%的top-1准确率和78.2%的top-5准确率，优于先前方法。
• 在Places205和Pascal VOC2007数据集上，InvP在线性分类任务中达到最先进结果，展现出跨数据集的强大泛化能力。
• InvP的相似度分布显示，正样本相似度显著更高且更易分离（峰值约0.9），而实例判别方法的峰值仅为约0.5，表明其具备更强的类别级别不变性。
• 定性分析表明，困难正样本在保留语义内容的同时引入了多样的低级差异（如颜色、视角、纹理），从而增强不变性。
• 在某些设置下，该方法优于监督基线，表明使用InvP的无监督学习能有效捕捉数据内在结构。
• 邻域可视化结果证实，InvP成功将来自同一类别的语义相似样本聚集到高密度区域。