[论文解读] Towards understanding how momentum improves generalization in deep learning

Samy Jelassi, Yuanzhi Li|arXiv (Cornell University)|Jul 13, 2022

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文从理论和实证两方面分析了动量为何能提升深度学习中的泛化性能，表明当样本共享共同特征但边际差异时，动量可增强泛化能力。核心洞见在于，动量通过利用历史梯度，保留了共享特征的学习，从而防止对低边际样本的记忆化，而标准梯度下降则无法做到这一点。

ABSTRACT

Stochastic gradient descent (SGD) with momentum is widely used for training modern deep learning architectures. While it is well-understood that using momentum can lead to faster convergence rate in various settings, it has also been observed that momentum yields higher generalization. Prior work argue that momentum stabilizes the SGD noise during training and this leads to higher generalization. In this paper, we adopt another perspective and first empirically show that gradient descent with momentum (GD+M) significantly improves generalization compared to gradient descent (GD) in some deep learning problems. From this observation, we formally study how momentum improves generalization. We devise a binary classification setting where a one-hidden layer (over-parameterized) convolutional neural network trained with GD+M provably generalizes better than the same network trained with GD, when both algorithms are similarly initialized. The key insight in our analysis is that momentum is beneficial in datasets where the examples share some feature but differ in their margin. Contrary to GD that memorizes the small margin data, GD+M still learns the feature in these data thanks to its historical gradients. Lastly, we empirically validate our theoretical findings.

研究动机与目标

• 理解动量在深度学习中提升泛化性能的内在机制，超越其收敛速度的提升。
• 探究动量的泛化优势是否与随机性相关，还是其本身源于优化动态的内在结构。
• 在过参数化的卷积神经网络中，形式化分析一个二分类设定，证明GD+M在理论上优于GD。
• 识别动量在何种条件下能提升泛化性能，特别是当数据共享特征但边际不同时。

提出的方法

• 提出一种使用单隐藏层过参数化卷积神经网络的二分类设定，用于比较GD与GD+M。
• 形式化证明：当数据共享特征但边际不同时，由于利用了历史梯度，GD+M的泛化性能优于GD。
• 通过理论分析表明，动量通过保留特征学习，防止对低边际样本的记忆化。
• 在CIFAR-10和合成高斯数据集上，使用VGG-19以及带/不带批量归一化的MLP/CNN架构，实证验证了研究结果。
• 通过使用全批量梯度下降（GD和GD+M）隔离动量的影响，消除了随机梯度噪声。
• 分析历史梯度在数据点边际变化时，如何维持特征学习的作用。

实验结果

研究问题

• RQ1 动量为何能在深度学习中提升泛化性能，而不仅仅是加快收敛速度？
• RQ2 动量的泛化优势是源于噪声减少，还是源于优化路径的结构性特征？
• RQ3 在何种数据和网络条件下，动量能带来更好的泛化性能？
• RQ4 动量能否在学习共享特征的同时，防止对低边际样本的记忆化？
• RQ5 动量的优势是否在全批量设置中依然存在，与随机性无关？

主要发现

• 动量在全批量设置中仍能提升泛化性能，表明其优势并非源于随机梯度噪声。
• 在合成高斯数据集中，当目标函数较复杂时（如1-CNN、2-CNN），GD+M的泛化性能优于GD，测试准确率提升最高达3.5%。
• 对于1-CNN学生网络，GD+M的测试准确率为94.39%，而GD为94.18%，显示出一致的性能提升。
• 理论分析证明：在过参数化的CNN中，当样本共享特征但边际不同时，GD+M的泛化性能优于GD。
• 动量通过利用历史梯度来维持特征学习，从而防止对低边际样本的记忆化。
• 在CIFAR-10上的实证结果表明，动量带来的泛化改进随批量大小增加而增强，证实其效果并非随机性所致。