[论文解读] Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning

Zixin Wen, Yuanzhi Li|arXiv (Cornell University)|May 31, 2021

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出了特征解耦原理，用以解释对比学习结合数据增强为何能使深度神经网络学习到语义上有意义的稀疏特征，而非虚假的密集噪声。理论上，本文证明了通过适当增强（如RandomMask）进行对比学习训练的ReLU网络，能够抑制密集噪声中的相关性，同时保留稀疏信号的相关性，从而实现有效的特征学习；而若无增强，则由于梯度更新失控，网络会坍缩至学习噪声特征。

ABSTRACT

How can neural networks trained by contrastive learning extract features from the unlabeled data? Why does contrastive learning usually need much stronger data augmentations than supervised learning to ensure good representations? These questions involve both the optimization and statistical aspects of deep learning, but can hardly be answered by analyzing supervised learning, where the target functions are the highest pursuit. Indeed, in self-supervised learning, it is inevitable to relate to the optimization/generalization of neural networks to how they can encode the latent structures in the data, which we refer to as the feature learning process. In this work, we formally study how contrastive learning learns the feature representations for neural networks by analyzing its feature learning process. We consider the case where our data are comprised of two types of features: the more semantically aligned sparse features which we want to learn from, and the other dense features we want to avoid. Theoretically, we prove that contrastive learning using $\mathbf{ReLU}$ networks provably learns the desired sparse features if proper augmentations are adopted. We present an underlying principle called $ extbf{feature decoupling}$ to explain the effects of augmentations, where we theoretically characterize how augmentations can reduce the correlations of dense features between positive samples while keeping the correlations of sparse features intact, thereby forcing the neural networks to learn from the self-supervision of sparse features. Empirically, we verified that the feature decoupling principle matches the underlying mechanism of contrastive learning in practice.

研究动机与目标

• 理解为何对比学习需要强于监督学习的数据增强，才能学习到有用的表示。
• 分析自监督对比学习中的特征学习过程，特别是增强对神经网络优化动态的影响。
• 形式化并证明：通过适当增强的对比学习，能使神经网络学习到稀疏的、语义上有意义的特征，而非虚假的密集噪声。
• 为数据增强在引导表示学习向期望潜在结构演进中的作用，建立理论基础。

提出的方法

• 作者将输入数据建模为稀疏信号（Mz）与密集噪声（ξ）的组合，其中 ||z||₀ = Õ(1) 且 ||ξ||₂ = poly(d) ≫ ||Mz||₂。
• 他们分析了一类通过随机梯度下降（SGD）在对比目标上训练的一层ReLU网络，分别在有和无数据增强的情况下进行。
• 他们定义了一种称为RandomMask的数据增强技术，该技术随机掩码输入特征，并证明其可降低正样本对中密集噪声分量之间的相关性。
• 关键机制——特征解耦——被形式化为：在正样本之间减少密集特征的互相关性，同时保留稀疏特征的相关性。
• 理论分析利用ReLU激活和梯度更新的期望界，表明在无增强的情况下，由于噪声上梯度幅度过大，网络会学习到主导的密集噪声特征。
• 通过特征可视化和下游线性评估进行实证验证，结果确认增强可产生更清晰、语义更一致的特征。

实验结果

研究问题

• RQ1 为何无数据增强时，对比学习无法学习到有意义的特征？
• RQ2 数据增强如何影响自监督对比学习中神经网络的优化轨迹？
• RQ3 何种基本原理使对比学习能够聚焦于稀疏、语义上有意义的特征，而非密集的虚假噪声？
• RQ4 我们能否在理论上刻画对比学习成功学习期望特征的条件？

主要发现

• 在无增强的情况下，神经网络会坍缩至学习由密集噪声主导的特征，因为梯度更新强烈偏向于高梯度幅值的噪声分量。
• 通过适当的增强（如RandomMask），网络能够通过降低正样本间密集噪声的相关性，同时保留稀疏信号的相关性，从而强调稀疏信号。
• 理论分析证明：在特征解耦原理下，对ReLU网络使用SGD进行对比学习，可保证在应用增强时学习到期望的稀疏特征。
• 实证结果证实，特征解耦与实际机制一致：增强的对比学习产生的特征比无增强训练更具语义意义。
• 由于特征空间中密集噪声占主导，无增强训练的损失函数衰减缓慢且保持较高水平，表明表示质量较差。
• 无增强学习到的表示在下游线性分类任务中表现无效，表现为特征与噪声向量之间近乎完美的相关性，导致线性探测无用。