[论文解读] The Power of Contrast for Feature Learning: A Theoretical Analysis

Wenlong Ji, Zhun Deng+3 more|arXiv (Cornell University)|Oct 6, 2021

Generative Adversarial Networks and Image Synthesis参考文献 55被引用 4

一句话总结

本文在线性表示设定下对对比学习进行了理论分析，表明通过对比数据增强有效降低噪声，对比学习在特征恢复和下游任务中优于自编码器和生成对抗网络。此外，本文解释了为何监督对比学习能提升域内性能，但可能损害迁移学习，原因在于标签引入的归纳偏置。

ABSTRACT

Contrastive learning has achieved state-of-the-art performance in various self-supervised learning tasks and even outperforms its supervised counterpart. Despite its empirical success, theoretical understanding of the superiority of contrastive learning is still limited. In this paper, under linear representation settings, (i) we provably show that contrastive learning outperforms the standard autoencoders and generative adversarial networks, two classical generative unsupervised learning methods, for both feature recovery and in-domain downstream tasks; (ii) we also illustrate the impact of labeled data in supervised contrastive learning. This provides theoretical support for recent findings that contrastive learning with labels improves the performance of learned representations in the in-domain downstream task, but it can harm the performance in transfer learning. We verify our theory with numerical experiments.

研究动机与目标

• 为了从理论上解释为何对比学习在特征学习方面优于自编码器和生成对抗网络等经典无监督方法。
• 分析标签信息在对比学习中的影响，特别是其在提升域内性能的同时可能损害迁移学习的双重作用。
• 通过脊状协方差模型建立理论框架，研究在线性假设下的表示学习。
• 通过数据增强证明对比学习在降噪和表示质量方面的优越性。

提出的方法

• 在使用脊状协方差模型对具有低秩信号和高维噪声的数据进行建模的线性表示设定下，开展理论分析。
• 推导了经验协方差矩阵主特征向量估计误差的界，该主特征向量对应于真实的潜在特征方向。
• 通过分析不同目标下学习表示的偏差和方差，将对比学习与自编码器和生成对抗网络进行比较。
• 将数据增强纳入分析，以构建正负对比对，展示其如何降低学习特征中的噪声。
• 利用随机矩阵理论推导理论保证，包括特征值扰动界和次高斯矩阵的集中不等式。
• 通过将类别标签引入对比目标，将框架扩展至监督对比学习，分析其对表示质量和泛化能力的影响。

实验结果

研究问题

• RQ1 为何对比学习在特征恢复和下游任务中优于标准自编码器和生成对抗网络？
• RQ2 对比学习中的数据增强如何促进降噪和改进表示学习？
• RQ3 监督对比学习中标签信息的理论影响对域内性能与迁移学习有何影响？
• RQ4 为何监督对比学习能提升域内准确率，但可能损害迁移学习性能？
• RQ5 在何种条件下，对比学习在表示学习方面优于生成式无监督方法？

主要发现

• 通过对比数据增强有效降低噪声，对比学习在特征恢复方面可严格优于自编码器和生成对抗网络，尤其在高维设置下表现更优。
• 该方法在估计表示上的Frobenius范数误差界为 $\sqrt{d/n} \sigma_{(1)}$，表明随着样本量增加，估计结果具有一致收敛性。
• 监督对比学习通过利用标签信息优化表示空间，从而提升域内回归和分类性能。
• 然而，相同的标签诱导归纳偏置可能降低迁移学习性能，解释了经验观察中迁移增益有限或为负的现象。
• 理论分析证实，对比学习通过数据增强构建有信息量的负样本，有效分离信号与噪声。
• 数值实验验证了理论预测与经验性能的一致性，结果在不同数据维度和样本规模下均表现一致。