[论文解读] On the Convergence of Nesterov's Accelerated Gradient Method in Stochastic Settings

Mahmoud Assran, Michael Rabbat|arXiv (Cornell University)|Feb 27, 2020

Stochastic Gradient Optimization Techniques参考文献 41被引用 10

一句话总结

本文分析了在随机设置下Nesterov加速梯度方法的表现，表明其在常数步长和动量设置下，于随机逼近设定中线性收敛至最优解的邻域。令人惊讶的是，在有限和设定中，除非满足关于条件数和数据一致性的额外条件，否则该方法在标准参数选择下可能发散，揭示了其在实际机器学习应用中的关键局限性。

ABSTRACT

We study Nesterov's accelerated gradient method with constant step-size and momentum parameters in the stochastic approximation setting (unbiased gradients with bounded variance) and the finite-sum setting (where randomness is due to sampling mini-batches). To build better insight into the behavior of Nesterov's method in stochastic settings, we focus throughout on objectives that are smooth, strongly-convex, and twice continuously differentiable. In the stochastic approximation setting, Nesterov's method converges to a neighborhood of the optimal point at the same accelerated rate as in the deterministic setting. Perhaps surprisingly, in the finite-sum setting, we prove that Nesterov's method may diverge with the usual choice of step-size and momentum, unless additional conditions on the problem related to conditioning and data coherence are satisfied. Our results shed light as to why Nesterov's method may fail to converge or achieve acceleration in the finite-sum setting.

研究动机与目标

• 理解在随机逼近和有限和设定下使用随机梯度时，Nesterov加速梯度方法的收敛行为。
• 识别尽管在确定性情况下有理论保证，该方法在有限和设定中为何可能无法收敛或实现加速。
• 在不依赖强增长或插值条件的前提下，为常数步长和动量设置下的有限和设定中的加速随机梯度（ASG）方法建立收敛条件。
• 为有限和问题中的随机梯度下降和ASG方法提供收敛速率和方差的紧致理论界。
• 探讨负动量参数在稳定优化和减少方差方面的作用，尤其是在非理想小批量场景中。

提出的方法

• 将ASG方法视为具有反馈的线性动态系统，采用控制理论稳定性框架推导收敛条件。
• 应用基于李雅普诺夫的证明技术，推导平滑、强凸且二阶连续可微目标函数下ASG方法的收敛界。
• 利用系统矩阵的联合谱半径推导理论收敛速率和方差界，尤其在有限和设定中。
• 通过不同条件数和小批量结构的最小二乘问题，实证验证理论预测。
• 在有限和设定中，将理论收敛速率（虚线）与实际性能（实线）进行比较，以证明边界的紧致性。
• 同时考虑正负动量参数，分析其对收敛速度和方差减少的影响。

实验结果

研究问题

• RQ1 在随机逼近设定中，Nesterov加速梯度方法是否在常数步长和动量下收敛？
• RQ2 为何Nesterov方法在有限和设定中可能发散，尽管其在随机逼近设定中表现良好？
• RQ3 在有限和设定中，为实现收敛，对问题结构（如条件数和数据一致性）需要哪些额外条件？
• RQ4 能否在不假设插值或强增长条件的前提下，为有限和设定中的ASG方法推导出紧致的理论收敛速率和方差界？
• RQ5 负动量参数在有限和优化中改善收敛或减少方差方面起什么作用？

主要发现

• 在随机逼近设定中，Nesterov方法以确定性情况下观察到的加速速率线性收敛至最优解的邻域。
• 在有限和设定中，若不满足关于问题条件数和数据一致性的额外条件，Nesterov方法在标准步长和动量选择下可能发散。
• 对于有限和设定中的随机梯度下降，本文建立了紧致的收敛速率 $ \left(\frac{Q-1}{Q+1}\right)^k $ 和方差界 $ \frac{1}{\mu}\sigma $，且无需强增长或插值假设。
• 第4.2节中的理论收敛速率和方差界在各种条件数 $ Q $ 下均得到实证验证，模拟中实线与虚线理论线高度吻合。
• 负动量参数可降低方差并提高稳定性，尽管可能减缓收敛速度；其在自适应调度或对抗训练稳定中可能具有应用价值。
• 联合谱半径框架为获得更紧致的收敛界提供了有希望的路径，但其计算仍具挑战性。