[论文解读] Stochastic optimization with momentum: convergence, fluctuations, and traps avoidance

Anas Barakat, Pascal Bianchi+2 more|arXiv (Cornell University)|Dec 7, 2020

Stochastic Gradient Optimization Techniques参考文献 18被引用 10

一句话总结

本文通过将随机优化算法（如 S-NAG 和 Adam）建模为非自治常微分方程（ODE）的噪声 Euler 离散化，统一了带动量的随机优化算法。该研究在非凸设置下建立了几乎必然收敛至临界点的结果，提供了收敛速率的中心极限定理，并在较弱噪声条件下证明了对局部极大值点和鞍点的几乎必然避免，其理论基础是新提出的非自治 Poincaré 型不变流形定理。

ABSTRACT

In this paper, a general stochastic optimization procedure is studied, unifying several variants of the stochastic gradient descent such as, among others, the stochastic heavy ball method, the Stochastic Nesterov Accelerated Gradient algorithm (S-NAG), and the widely used Adam algorithm. The algorithm is seen as a noisy Euler discretization of a non-autonomous ordinary differential equation, recently introduced by Belotto da Silva and Gazeau, which is analyzed in depth. Assuming that the objective function is non-convex and differentiable, the stability and the almost sure convergence of the iterates to the set of critical points are established. A noteworthy special case is the convergence proof of S-NAG in a non-convex setting. Under some assumptions, the convergence rate is provided under the form of a Central Limit Theorem. Finally, the non-convergence of the algorithm to undesired critical points, such as local maxima or saddle points, is established. Here, the main ingredient is a new avoidance of traps result for non-autonomous settings, which is of independent interest.

研究动机与目标

• 在非凸设置下，统一分析并研究基于动量的随机优化算法（包括 S-NAG 和 Adam）的渐近行为。
• 建立迭代序列在目标函数临界点处的几乎必然收敛性。
• 在适当的正则性条件下，通过中心极限定理推导收敛速率。
• 在一般噪声假设下，证明对不良临界点（局部极大值点和鞍点）的几乎必然避免。
• 为非自治动力系统中的陷阱避免发展一种新的理论框架，其适用范围超越随机优化领域。

提出的方法

• 将基于动量的随机优化算法建模为 Belotto da Silva 与 Gazeau 最近提出的非自治常微分方程（ODE）的噪声 Euler 离散化。
• 分析连续时间 ODE，以建立解的存在性、唯一性以及收敛至目标函数临界点集的性质。
• 利用非自治版本的 Poincaré 不变流形定理，在一般噪声激励下证明对陷阱（局部极大值点和鞍点）的避免。
• 在步长序列与噪声结构的假设下，通过中心极限定理建立收敛速率。
• 通过验证梯度、动量和学习率更新的模型特定条件，确认该通用框架适用于 S-NAG 和 Adam 等具体算法。
• 利用临界点处 Hessian 算子的谱分析以及噪声协方差结构，确保不稳定方向上非退化的扩散。

实验结果

研究问题

• RQ1 能否为非凸设置下基于动量的随机优化算法的收敛性与稳定性建立统一的理论框架？
• RQ2 当目标函数为非凸时，随机 Nesterov 加速梯度（S-NAG）算法是否几乎必然收敛至临界点？
• RQ3 在非凸优化中，基于动量的算法在何种条件下可避免收敛至局部极大值点或鞍点？
• RQ4 在一般噪声与步长假设下，能否通过中心极限定理刻画此类算法的收敛速率？
• RQ5 是否可将陷阱避免结果从自治系统推广至非自治动力系统？

主要发现

• 在较弱的正则性与步长条件下，一般基于动量的随机优化算法的迭代序列几乎必然收敛至目标函数的临界点集。
• 本文首次在非凸设置下建立了随机 Nesterov 加速梯度（S-NAG）算法的几乎必然收敛结果。
• 在附加假设下，收敛速率由中心极限定理刻画，表明迭代序列在临界点附近的渐近正态性。
• 若噪声在负曲率方向上足够激励，则算法几乎必然避免局部极大值点与鞍点。
• 提出了一个新的非自治 Poincaré 不变流形定理版本，并用于证明陷阱避免，该结果本身具有独立的理论价值。
• 通过验证梯度噪声与学习率动态的必要条件，该理论框架成功适用于 Adam 及其他自适应算法。