[论文解读] On the Stability and Convergence of Stochastic Gradient Descent with Momentum.

Ali Ramezani-Kebrya, Ashish Khisti+1 more|arXiv (Cornell University)|Sep 12, 2018

Stochastic Gradient Optimization Techniques参考文献 19被引用 5

一句话总结

本文通过引入早期动量方法并分析其泛化误差与收敛性，为带动量的随机梯度下降提供了理论保证。针对一般损失函数和强凸损失函数，建立了泛化误差和期望梯度范数的上界，为实践中动量超参数的选择提供了理论指导。

ABSTRACT

While momentum-based methods, in conjunction with the stochastic gradient descent, are widely used when training machine learning models, there is little theoretical understanding on the generalization error of such methods. In practice, the momentum parameter is often chosen in a heuristic fashion with little theoretical guidance. In the first part of this paper, for the case of general loss functions, we analyze a modified momentum-based update rule, i.e., the method of early momentum, and develop an upper-bound on the generalization error using the framework of algorithmic stability. Our results show that machine learning models can be trained for multiple epochs of this method while their generalization errors are bounded. We also study the convergence of the method of early momentum by establishing an upper-bound on the expected norm of the gradient. In the second part of the paper, we focus on the case of strongly convex loss functions and the classical heavy-ball momentum update rule. We use the framework of algorithmic stability to provide an upper-bound on the generalization error of the stochastic gradient method with momentum. We also develop an upper-bound on the expected true risk, in terms of the number of training steps, the size of the training set, and the momentum parameter. Experimental evaluations verify the consistency between the numerical results and our theoretical bounds and the effectiveness of the method of early momentum for the case of non-convex loss functions.

研究动机与目标

• 为解决基于动量的随机梯度下降中泛化误差缺乏理论理解的问题。
• 为实践中动量参数的选择提供理论框架，超越启发式调参。
• 分析早期动量方法在一般损失函数下的收敛性与稳定性。
• 通过经典的重球动量更新，将分析扩展至强凸损失函数。
• 以训练步数、数据集大小和动量参数为变量，推导泛化误差与期望真实风险的上界。

提出的方法

• 提出一种改进的动量更新规则，称为“早期动量”，以提升非凸设置下的稳定性和泛化性能。
• 利用算法稳定性理论，推导出早期动量方法的泛化误差上界。
• 建立期望梯度范数的上界，以分析早期动量方法的收敛性。
• 将相同的算法稳定性框架应用于强凸损失函数下的经典重球动量更新。
• 推导出期望真实风险的上界，其表达式依赖于训练步数、训练集大小和动量参数。
• 采用基于优化与泛化理论的理论分析，建立动量动态与泛化性能之间的联系。

实验结果

研究问题

• RQ1 在一般损失函数下，早期动量方法能否在多个训练周期内保证有界的泛化误差？
• RQ2 为确保早期动量方法的收敛性，可建立的期望梯度范数的上界是什么？
• RQ3 算法稳定性理论如何应用于强凸损失函数下的经典重球动量更新？
• RQ4 在强凸设置下，动量参数、训练步数与期望真实风险之间的理论关系是什么？
• RQ5 理论边界与非凸优化场景下的实验结果相比如何？

主要发现

• 早期动量方法在一般损失函数下可保证多个周期内泛化误差有界，为其在实践中的应用提供了理论依据。
• 推导出期望梯度范数的上界，支持了早期动量方法的收敛性。
• 对于强凸损失函数，本文利用算法稳定性理论建立了泛化误差的上界。
• 推导出期望真实风险的理论上的界，明确依赖于训练步数、数据集大小和动量参数。
• 实验结果表明理论边界与数值性能一致，验证了早期动量在非凸设置下的有效性。
• 理论框架为动量参数选择提供了原则性依据，减少了对启发式调参的依赖。