[论文解读] Understanding the Role of Momentum in Stochastic Gradient Methods

Igor Gitman, Hunter Lang+2 more|arXiv (Cornell University)|Oct 30, 2019

Markov Chains and Monte Carlo Methods被引用 42

一句话总结

本论文提供对准超曲线动量（QHM）在随机梯度方法中的统一分析，推导收敛性、稳定性和平稳分布结果，以指导参数调整。

ABSTRACT

The use of momentum in stochastic gradient methods has become a widespread practice in machine learning. Different variants of momentum, including heavy-ball momentum, Nesterov's accelerated gradient (NAG), and quasi-hyperbolic momentum (QHM), have demonstrated success on various tasks. Despite these empirical successes, there is a lack of clear understanding of how the momentum parameters affect convergence and various performance measures of different algorithms. In this paper, we use the general formulation of QHM to give a unified analysis of several popular algorithms, covering their asymptotic convergence conditions, stability regions, and properties of their stationary distributions. In addition, by combining the results on convergence rates and stationary distributions, we obtain sometimes counter-intuitive practical guidelines for setting the learning rate and momentum parameters.

研究动机与目标

• 激发并形式化一个统一的动量框架（QHM），涵盖流行的随机梯度变体。
• 在学习率减小的前提下，推导光滑非凸目标的渐近收敛结果。
• 刻画常数参数下的局部稳定区域和收敛速率。
• 分析在固定参数下QHM的平稳分布，以理解方差和噪声效应。
• 在常数与下降（constant-and-drop）训练方案中提供调节学习率和动量的实际指南。

提出的方法

• 采用带参数（alpha, beta, nu）的通用QHM更新，插值于SGD和SHB。
• 在给定噪声假设（假设A）下推导随步长减小的收敛结果。
• 在局部极小值附近对动力学线性化，以通过扩展状态 z^k 和矩阵 T 研究稳定性。
• 通过分析特征半径 rho(T) 计算稳定区域并推导关于 (alpha, beta, nu) 的明确条件。
• 使用二次模型和带协方差的噪声，研究常数参数下的平稳分布，以获得二阶洞见。
• 将渐近理论与实际参数选取及常数-and-drop训练方案联系起来。

实验结果

研究问题

• RQ1 在光滑非凸目标下，QHM变体在何种条件下几乎必然收敛？
• RQ2 动量参数（beta、nu）与学习率 alpha 如何相互作用以影响稳定性和局部收敛速率？
• RQ3 固定参数下QHM的平稳分布形式是什么，alpha、beta、nu 如何影响其方差？
• RQ4 在常数-and-drop训练方案中，可以得到哪些实际的 alpha、beta、nu 设置指南？
• RQ5 QHM 如何统一并扩展已知的 SGD、SHB 和 NAG 的结果？

主要发现

• 在学习率减小时，当 beta_k -> 0 或当 nu_k beta_k -> 1 且满足合适的噪声条件时，QHM 几乎必然收敛。
• 局部稳定区域由对 alpha、beta、nu 的显式界限表征，并且依赖于局部二次近似的 Hessian 特征值（mu 和 L）。
• 对于固定参数，确定性部分 Z^k 收敛，随机部分产生平稳分布，其协方差与 alpha、beta、nu 和梯度噪声相关。
• 平稳方差对 alpha 有二阶展开，显示对 beta 与 nu 的细致依赖，例如在某些范式中较大的 beta 能降低平稳损失。
• 数值和理论结果表明最优收敛速率随 nu 的增加而降低，动量设置应在快速收敛与更小的平稳分布之间取得平衡。
• 指南显示在类似 SHB 的区间中，可以在保持收敛速率的同时降低 alpha 以降低平稳损失；在实践中，beta 接近 1、alpha 较小且 nu 适当时可以改善结果。