[论文解读] Understanding Deep Contrastive Learning via Coordinate-wise Optimization

Yuandong Tian|arXiv (Cornell University)|Jan 29, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了 \alpha-CL，一种用于对比学习的统一坐标优化框架，将表示学习视为网络权重（最大化方）与样本对重要性权重（最小化方）之间的极小极大博弈。证明了在固定 \alpha 的情况下，最大化方的优化等价于深度线性网络中的主成分分析（PCA），并将该结论扩展至两层 ReLU 网络，表明在正交混合数据下会涌现出非秩-1 解，且通过该框架设计的新型对比损失在 CIFAR-10、STL-10 和 CIFAR-100 上优于 InfoNCE。

ABSTRACT

We show that Contrastive Learning (CL) under a broad family of loss functions (including InfoNCE) has a unified formulation of coordinate-wise optimization on the network parameter $\boldsymbolθ$ and pairwise importance $α$, where the \emph{max player} $\boldsymbolθ$ learns representation for contrastiveness, and the \emph{min player} $α$ puts more weights on pairs of distinct samples that share similar representations. The resulting formulation, called $α$-CL, unifies not only various existing contrastive losses, which differ by how sample-pair importance $α$ is constructed, but also is able to extrapolate to give novel contrastive losses beyond popular ones, opening a new avenue of contrastive loss design. These novel losses yield comparable (or better) performance on CIFAR10, STL-10 and CIFAR-100 than classic InfoNCE. Furthermore, we also analyze the max player in detail: we prove that with fixed $α$, max player is equivalent to Principal Component Analysis (PCA) for deep linear network, and almost all local minima are global and rank-1, recovering optimal PCA solutions. Finally, we extend our analysis on max player to 2-layer ReLU networks, showing that its fixed points can have higher ranks.

研究动机与目标

• 将多种对比损失函数统一于单一优化框架之下。
• 分析深度线性网络与 ReLU 网络中表示学习器（最大化方）的训练动态。
• 建立对比学习与主成分分析（PCA）之间的理论联系。
• 通过 \alpha-CL 框架设计新型对比损失，使其优于现有方法。
• 理解如 ReLU 等非线性激活函数如何影响对比学习中所学表示的秩与结构。

提出的方法

• 提出一种极小极大坐标优化公式，其中最大化方优化网络参数 \theta 以最大化对比性，而最小化方优化样本对重要性权重 \alpha 以强调不同样本间相似表示的重要性。
• 将对比学习重新表述为优化能量函数 \mathcal{E}_\alpha(\bm{\theta}) 减去正则项 \mathcal{R}(\alpha)，从而将损失与博弈论视角联系起来。
• 证明在深度线性网络中，当 \alpha 固定时，最大化方的目标等价于 PCA，且所有局部最小值均为全局最小值且秩为 1。
• 为 ReLU 网络引入一种粘性权重规则，以保持第一层权重的非负性，从而在正交混合数据下实现可分析性。
• 推导出在何种条件下，ReLU 网络中的最大化方可实现高于秩-1 PCA 的更高秩解。
• 通过在 \alpha 上使用不同正则项构建新型对比损失，实证验证了该框架的有效性，其在 CIFAR-10、STL-10 和 CIFAR-100 上达到最先进性能。

实验结果

研究问题

• RQ1 能否将对比学习统一于一个包含网络权重与样本对重要性权重的单一坐标优化框架下？
• RQ2 在深度线性网络中，对比学习的表示学习目标是否对应于 PCA？
• RQ3 在对比学习中，ReLU 等非线性激活函数相较于线性网络如何改变解空间？
• RQ4 对 \alpha 的最小化方优化能否生成超越 InfoNCE 的新型有效对比损失？
• RQ5 在 \alpha-CL 框架下，ReLU 网络中最优解的秩结构如何？

主要发现

• 在固定 \alpha 的深度线性网络中，最大化方等价于 PCA，所有局部最小值均为全局最小值且秩为 1，可达到最优 PCA 解。
• 对于具有正交混合数据的两层 ReLU 网络，解不一定是秩-1，网络可学习到更高秩的表示。
• 该框架可通过在 \alpha 上使用不同正则项，设计出新型对比损失，其在 CIFAR-10、STL-10 和 CIFAR-100 上的性能与 InfoNCE 相当或更优。
• 在 ReLU 情况下，粘性权重规则可确保第一层权重保持非负且不坍缩至零，从而保留结构特性。
• 当存在多个数据模态时，\alpha-CL 下加权协方差矩阵的最大特征向量中至少包含一个负元素，表明解结构具有非平凡性。
• 实验结果表明，采用新正则项的 \alpha-CL 框架在标准基准测试上实现了最先进性能，验证了理论洞见的正确性。