[论文解读] Unified Convergence Analysis of Stochastic Momentum Methods for Convex and Non-convex Optimization

Tianbao Yang, Qihang Lin+1 more|arXiv (Cornell University)|Apr 12, 2016

Stochastic Gradient Optimization Techniques参考文献 7被引用 90

一句话总结

本文提出了一套统一的收敛性分析框架，用于分析随机动量方法——随机近似梯度法（HB）和随机Nesterov加速梯度法（S-NAG）——在凸与非凸优化中的表现。该框架表明，两种方法在期望收敛率上均达到 $O(1/\sqrt{t})$，适用于目标函数值（凸优化）和梯度范数（非凸优化）。该框架通过一个自由参数，揭示了从梯度下降到NAG再到HB的连续过渡过程，解释了深度学习中观察到的训练与测试误差动态行为。

ABSTRACT

Recently, {\it stochastic momentum} methods have been widely adopted in training deep neural networks. However, their convergence analysis is still underexplored at the moment, in particular for non-convex optimization. This paper fills the gap between practice and theory by developing a basic convergence analysis of two stochastic momentum methods, namely stochastic heavy-ball method and the stochastic variant of Nesterov's accelerated gradient method. We hope that the basic convergence results developed in this paper can serve the reference to the convergence of stochastic momentum methods and also serve the baselines for comparison in future development of stochastic momentum methods. The novelty of convergence analysis presented in this paper is a unified framework, revealing more insights about the similarities and differences between different stochastic momentum methods and stochastic gradient method. The unified framework exhibits a continuous change from the gradient method to Nesterov's accelerated gradient method and finally the heavy-ball method incurred by a free parameter, which can help explain a similar change observed in the testing error convergence behavior for deep learning. Furthermore, our empirical results for optimizing deep neural networks demonstrate that the stochastic variant of Nesterov's accelerated gradient method achieves a good tradeoff (between speed of convergence in training error and robustness of convergence in testing error) among the three stochastic methods.

研究动机与目标

• 弥合深度学习中随机动量方法广泛应用与理论收敛性分析发展不足之间的差距。
• 提供一个统一的理论框架，揭示随机重球法、随机Nesterov方法与随机梯度下降在结构上的相似性与差异性。
• 为具有Lipschitz连续梯度的凸与非凸设置下的随机动量方法建立收敛性保证。
• 通过一个连续参数化的动量方法族，解释深度神经网络优化中观察到的收敛行为——特别是训练速度与测试误差鲁棒性之间的权衡。
• 为未来随机动量算法的开发与比较提供基础参考。

提出的方法

• 提出一个统一框架，通过一个自由参数对动量方法进行参数化，实现从梯度下降到Nesterov加速方法再到重球方法的连续过渡。
• 在相同的理论框架下分析随机重球法（HB）与随机Nesterov加速梯度法（S-NAG），采用具有有界方差的随机梯度。
• 利用李雅普诺夫函数分析与递推不等式，推导出凸优化中期望目标函数值的收敛速率，以及非凸优化中期望梯度范数的收敛速率。
• 证明对于凸的Lipschitz连续函数，目标函数值的期望收敛速率为 $O(1/\sqrt{t})$。
• 对于具有Lipschitz连续梯度的非凸函数，期望梯度范数的收敛速率为 $O(1/\sqrt{t})$。
• 采用一个参数化的更新规则，统一HB与NAG，表明动量项随参数连续演化，与深度学习中的经验行为一致。

实验结果

研究问题

• RQ1 随机动量方法（如HB与S-NAG）在凸与非凸设置下的收敛行为如何？其理论收敛速率是什么？
• RQ2 在算法设计与收敛行为方面，随机重球法、随机Nesterov方法与随机梯度下降之间存在何种结构性关系？
• RQ3 能否通过一个统一的理论框架，解释深度神经网络优化中观察到的训练与测试误差动态的过渡现象？
• RQ4 为何随机Nesterov方法的变体通常在训练速度与泛化鲁棒性之间实现更优的权衡，优于HB与SGD？
• RQ5 动量参数如何影响随机动量方法的收敛轨迹与稳定性？

主要发现

• 随机重球法与随机Nesterov加速梯度法的变体，在Lipschitz连续函数的凸优化中，其目标函数值的期望收敛速率均为 $O(1/\sqrt{t})$。
• 在具有Lipschitz连续梯度的非凸优化中，两种方法对梯度范数的期望收敛速率均为 $O(1/\sqrt{t})$。
• 所提出的统一框架揭示了：随着动量参数的变化，方法从梯度下降连续过渡到Nesterov方法，再过渡到重球方法，解释了深度学习中观察到的测试误差动态相似转变。
• 实验结果表明，随机Nesterov方法在快速降低训练误差与稳健的测试误差收敛之间实现了有利的权衡，其泛化性能优于随机HB与随机梯度下降。
• 理论分析具有普遍性，不依赖于强凸性或有界梯度，因此适用于广泛的非凸深度学习问题。
• 该框架为理解动量方法在深度学习中的行为提供了理论基础，并可作为未来算法开发的基准。