[论文解读] Weak and Strong Gradient Directions: Explaining Memorization, Generalization, and Hardness of Examples at Scale

Piotr Zieliński, Shankar Krishnan+1 more|arXiv (Cornell University)|Mar 16, 2020

Stochastic Gradient Optimization Techniques参考文献 20被引用 5

一句话总结

该论文通过引入可扩展的方法 M3 和 RM3，在 ImageNet 上的深度卷积网络（ResNet、Inception、VGG）中大规模验证了相干梯度假设（CGH）。M3 和 RM3 通过基于坐标的均值中位数估计抑制弱梯度方向。主要贡献在于实证证据表明：减少弱梯度可抑制记忆化现象并提升泛化性能，同时提出了一种新的、依赖数据的测试方法，基于简单样本与困难样本的训练顺序，验证了 CGH 的核心直觉。

ABSTRACT

Coherent Gradients (CGH) is a recently proposed hypothesis to explain why over-parameterized neural networks trained with gradient descent generalize well even though they have sufficient capacity to memorize the training set. The key insight of CGH is that, since the overall gradient for a single step of SGD is the sum of the per-example gradients, it is strongest in directions that reduce the loss on multiple examples if such directions exist. In this paper, we validate CGH on ResNet, Inception, and VGG models on ImageNet. Since the techniques presented in the original paper do not scale beyond toy models and datasets, we propose new methods. By posing the problem of suppressing weak gradient directions as a problem of robust mean estimation, we develop a coordinate-based median of means approach. We present two versions of this algorithm, M3, which partitions a mini-batch into 3 groups and computes the median, and a more efficient version RM3, which reuses gradients from previous two time steps to compute the median. Since they suppress weak gradient directions without requiring per-example gradients, they can be used to train models at scale. Experimentally, we find that they indeed greatly reduce overfitting (and memorization) and thus provide the first convincing evidence that CGH holds at scale. We also propose a new test of CGH that does not depend on adding noise to training labels or on suppressing weak gradient directions. Using the intuition behind CGH, we posit that the examples learned early in the training process (i.e., "easy" examples) are precisely those that have more in common with other training examples. Therefore, as per CGH, the easy examples should generalize better amongst themselves than the hard examples amongst themselves. We validate this hypothesis with detailed experiments, and believe that it provides further orthogonal evidence for CGH.

研究动机与目标

• 在 ImageNet 上训练的大型深度学习模型（如 ResNet、Inception 和 VGG）中检验相干梯度假设（CGH）。
• 克服先前 CGH 验证方法在小规模、玩具模型上适用的可扩展性限制。
• 开发高效的梯度抑制技术，无需计算每个样本的梯度，从而实现在大规模训练中的应用。
• 提出一种基于观察结果的新数据驱动测试方法：若 CGH 成立，则早期学习的简单样本应彼此之间泛化能力优于困难样本。
• 提供实证证据表明泛化性能由共享的、一致的梯度方向驱动，而非函数本身的固有简单性。

提出的方法

• 提出 M3，一种基于坐标的中位数-均值算法，将一个 mini-batch 划分为三组，并计算梯度的中位数以抑制弱方向。
• 引入 RM3，一种更高效的变体，通过重用前两个时间步的梯度来计算中位数，从而降低计算开销。
• 将弱梯度抑制建模为鲁棒均值估计问题，实现无需逐样本梯度计算的可扩展且稳定的训练。
• 使用样本的训练顺序（早期 vs. 晚期）作为测试 CGH 的代理指标：若 CGH 成立，则简单样本应彼此之间泛化能力优于困难样本。
• 使用 RM3 训练模型，并通过在多个随机初始化下测量训练顺序的一致性，比较不同难度样本的泛化性能。

实验结果

研究问题

• RQ1 相干梯度假设（CGH）是否在大规模、深度卷积神经网络（在 ImageNet 上训练）中成立？
• RQ2 是否可以在不计算逐样本梯度的前提下，大规模有效地抑制弱梯度方向？
• RQ3 抑制弱梯度是否能减少真实世界视觉基准中的记忆化现象并提升泛化性能？
• RQ4 如 CGH 所预测，训练中早期学习的样本（简单样本）是否在彼此之间泛化能力优于困难样本？
• RQ5 是否存在一种不依赖标签噪声或梯度抑制的、数据相关的、非干预性 CGH 测试方法？

主要发现

• M3 和 RM3 方法在大规模场景下成功抑制了弱梯度方向，在 ImageNet 上的 ResNet-18、Inception 和 VGG 模型中减少了过拟合与记忆化现象。
• 经过 90 个周期训练后，超级困难样本（难度为 8）在 RM3 下的 top-1 准确率仅为 61%，而超级简单样本的准确率高达 99%，证实弱梯度会阻碍困难样本的学习。
• 使用 RM3 训练的模型在标签被污染时表现出显著更低的记忆化倾向，随着标签噪声增加，测试准确率下降更平缓，表明泛化性能得到提升。
• 在困难样本上训练的模型对简单样本的泛化性能极差（准确率仅 44%），与 SGD 逐步探索更复杂函数的观点相矛盾，表明早期常见模式对泛化更为关键。
• 训练顺序分析证实，简单样本彼此之间的泛化能力优于困难样本，为 CGH 提供了独立且非干预性的实证支持。