[论文解读] Understanding self-supervised Learning Dynamics without Contrastive Pairs

Yuandong Tian, Xinlei Chen+1 more|arXiv (Cornell University)|Feb 12, 2021

Neural Networks and Applications被引用 64

一句话总结

本文分析简单线性网络中非对比学习自监督学习（BYOL/SimSiam）的非线性学习动力学，证明关键性质（权重衰减平衡、停梯度必要性、特征子空间对齐），并引入 DirectPred 将预测器直接从数据统计中设定。

ABSTRACT

While contrastive approaches of self-supervised learning (SSL) learn representations by minimizing the distance between two augmented views of the same data point (positive pairs) and maximizing views from different data points (negative pairs), recent \\emph{non-contrastive} SSL (e.g., BYOL and SimSiam) show remarkable performance {\\it without} negative pairs, with an extra learnable predictor and a stop-gradient operation. A fundamental question arises: why do these methods not collapse into trivial representations? We answer this question via a simple theoretical study and propose a novel approach, DirectPred, that \\emph{directly} sets the linear predictor based on the statistics of its inputs, without gradient training. On ImageNet, it performs comparably with more complex two-layer non-linear predictors that employ BatchNorm and outperforms a linear predictor by $2.5\\%$ in 300-epoch training (and $5\\%$ in 60-epoch). DirectPred is motivated by our theoretical study of the nonlinear learning dynamics of non-contrastive SSL in simple linear networks. Our study yields conceptual insights into how non-contrastive SSL methods learn, how they avoid representational collapse, and how multiple factors, like predictor networks, stop-gradients, exponential moving averages, and weight decay all come into play. Our simple theory recapitulates the results of real-world ablation studies in both STL-10 and ImageNet. Code is released https://github.com/facebookresearch/luckmatters/tree/master/ssl.

研究动机与目标

• 解释为什么非对比自监督学习方法在没有负样本的情况下避免表示塌缩。
• 了解预测器网络、停梯度、EMA 和权重衰减如何相互作用以学习鲁棒表示。
• 提供分析性预测来解释 BYOL/SimSiam 在不同数据集上的经验消融。
• 提出一个简单、无优化的预测器（DirectPred），与理论保持一致。
• 用在 STL-10、CIFAR-10 和 ImageNet 上的实验验证理论洞察。

提出的方法

• 开发一个简单的两层线性 BYOL 模型以推导非线性学习动力学。
• 在数据增强和权重衰减下推导 W、W_p、W_a 的梯度流方程。
• 证明权重衰减促使预测器与在线网络之间的平衡（定理1）。
• 显示停梯度对于避免塌缩是必需的（定理2）。
• 证明预测器与在线特征协方差之间的特征子空间对齐在训练过程中出现，使得以模式为单位的解耦动态成为可能（定理3）。
• 引入 DirectPred，它通过特征的特征分解从输入统计中设定 W_p（式 (18)）。

实验结果

研究问题

• RQ1 为什么在没有负样本的情况下，非对比自监督学习方法能够避免表示塌缩？
• RQ2 EMA、预测器学习率和权重衰减如何相互作用以塑造学习动力学？
• RQ3 预测器与在线表示是否在特征子空间对齐，且在何种条件下成立？
• RQ4 是否存在一个闭式解、无需优化的预测器可以达到有竞争力的性能？
• RQ5 理论驱动的洞察在多大程度上解释了在 STL-10 和 ImageNet 上的经验性消融？

主要发现

• 权重衰减促进预测器与在线网络之间的平衡，防止仅靠预测器来解释学习的表示（定理1）。
• 移除停梯度会导致表示塌缩，理论上演示了停梯度的必要性（定理2）。
• 预测器与在线特征协方差之间的特征子空间对齐在训练过程中出现，使得以模式为单位的动态解耦成为可能（定理3）。
• EMA 充当自动课程表，逐步提升对齐目标，帮助稳定学习与性能提升（与定理3及相关分析相关的观察）。
• DirectPred 是一个从输入统计中设定的无优化预测器，能够达到或超过通过梯度训练的线性预测器，并在 ImageNet、STL-10、CIFAR-10 上取得良好结果（例如 ImageNet 练至 300 epoch 时 Top-1/Top-5 72.4/91.0；对 STL-10 和 ImageNet 的 60 epoch 提升 +5% Top-1）。