[论文解读] Pushing the limits of self-supervised ResNets: Can we outperform supervised learning without labels on ImageNet?

Nenad Tomašev, Ioana Bica+5 more|arXiv (Cornell University)|Jan 13, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

该论文提出 ReLIC v2，一种自监督表示学习方法，通过引入归纳偏置以抑制背景和风格等虚假特征，从而提升 ResNet 在 ImageNet 上的表现。通过结合显著性掩码、多尺度数据增强以及对比不变性目标，ReLIC v2 在线性评估下于 ResNet50 上实现了 77.1% 的 top-1 准确率，超越了监督学习方法，并在无标签自监督学习中创下新的 SOTA 记录。

ABSTRACT

Despite recent progress made by self-supervised methods in representation learning with residual networks, they still underperform supervised learning on the ImageNet classification benchmark, limiting their applicability in performance-critical settings. Building on prior theoretical insights from ReLIC [Mitrovic et al., 2021], we include additional inductive biases into self-supervised learning. We propose a new self-supervised representation learning method, ReLICv2, which combines an explicit invariance loss with a contrastive objective over a varied set of appropriately constructed data views to avoid learning spurious correlations and obtain more informative representations. ReLICv2 achieves $77.1\%$ top-$1$ accuracy on ImageNet under linear evaluation on a ResNet50, thus improving the previous state-of-the-art by absolute $+1.5\%$; on larger ResNet models, ReLICv2 achieves up to $80.6\%$ outperforming previous self-supervised approaches with margins up to $+2.3\%$. Most notably, ReLICv2 is the first unsupervised representation learning method to consistently outperform the supervised baseline in a like-for-like comparison over a range of ResNet architectures. Using ReLICv2, we also learn more robust and transferable representations that generalize better out-of-distribution than previous work, both on image classification and semantic segmentation. Finally, we show that despite using ResNet encoders, ReLICv2 is comparable to state-of-the-art self-supervised vision transformers.

研究动机与目标

• 探究自监督表示学习是否能在不使用标签的情况下超越 ImageNet 上的监督学习。
• 通过减少对背景和风格等虚假特征的依赖，解决对比自监督方法性能不佳的问题。
• 通过数据增强和网络结构改进引入归纳偏置，提升表示质量和泛化能力。
• 评估所学表示在图像分类和语义分割等下游任务中的鲁棒性和可迁移性。
• 确定自监督 ResNet 是否能在无标签数据下达到或超越视觉 Transformer 的性能。

提出的方法

• 提出 ReLIC v2，一种基于 ReLIC 的增强型自监督学习框架，结合对比损失与不变性损失。
• 采用完全无监督的显著性掩码流程，将前景与背景分离，降低对虚假背景特征的依赖。
• 应用包含大图和小图的多尺度数据增强，提升对遮挡的鲁棒性并增强特征不变性。
• 使用指数移动平均（EMA）目标网络稳定训练，消融实验表明其对 EMA 衰减率在 0.9 到 0.996 之间具有鲁棒性。
• 在训练过程中对显著性掩码进行随机掩蔽，以提升泛化能力，在中等程度损坏下性能保持稳定。
• 通过从一个批次中随机子采样选择负样本，避免虚假负样本，最优性能出现在使用 10 个负样本时。

实验结果

研究问题

• RQ1 自监督表示学习是否能在不使用标签的情况下超越 ImageNet 上的监督学习？
• RQ2 抑制背景和风格等虚假特征是否能提升自监督学习中的表示质量？
• RQ3 多尺度数据增强如何影响自监督 ResNet 的鲁棒性和泛化能力？
• RQ4 自监督 ResNet 是否能在无标签数据下实现与最先进视觉 Transformer 相当的性能？
• RQ5 ReLIC v2 对超参数（如负样本数量和 EMA 衰减率）的敏感性如何？

主要发现

• 在线性评估下，ReLIC v2 使用 ResNet50 在 ImageNet 上实现了 77.1% 的 top-1 准确率，比之前的自监督 SOTA 提高了 +1.5%。
• 在更大的 ResNet 模型上，ReLIC v2 的 top-1 准确率最高达到 80.6%，比之前自监督方法最高提升 +2.3%。
• ReLIC v2 是首个在多个 ResNet 架构上实现一致超越监督学习的自监督方法（在相同设置下进行比较）。
• 该方法在分布外泛化能力上优于以往工作，在图像分类和语义分割任务中均表现出更强的鲁棒性。
• 即使显著性掩码存在损坏（如添加矩形），ReLIC v2 仍能保持优异性能（top-1 准确率为 74.5%），表明对掩码缺陷具有鲁棒性。
• 模型对超参数选择具有鲁棒性：EMA 衰减率在 0.9 到 0.996 范围内时性能相近，最优负样本采样仅需 10 个负样本。