[论文解读] On the Hyperparameters in Stochastic Gradient Descent with Momentum

Bin Shi|arXiv (Cornell University)|Aug 9, 2021

Stochastic Gradient Optimization Techniques参考文献 32被引用 6

一句话总结

本文通过将随机梯度下降带动量（SGDM）建模为依赖超参数的随机微分方程（hp-dependent SDE），对其在非凸优化中的理论行为进行了分析。结果表明，学习率与动量系数的联合效应决定了线性收敛速率，揭示了为何采用动量（如 α=0.9）的 SGDM 比标准 SGD 收敛更快且更具鲁棒性。

ABSTRACT

Following the same routine as [SSJ20], we continue to present the theoretical analysis for stochastic gradient descent with momentum (SGD with momentum) in this paper. Differently, for SGD with momentum, we demonstrate it is the two hyperparameters together, the learning rate and the momentum coefficient, that play the significant role for the linear rate of convergence in non-convex optimization. Our analysis is based on the use of a hyperparameters-dependent stochastic differential equation (hp-dependent SDE) that serves as a continuous surrogate for SGD with momentum. Similarly, we establish the linear convergence for the continuous-time formulation of SGD with momentum and obtain an explicit expression for the optimal linear rate by analyzing the spectrum of the Kramers-Fokker-Planck operator. By comparison, we demonstrate how the optimal linear rate of convergence and the final gap for SGD only about the learning rate varies with the momentum coefficient increasing from zero to one when the momentum is introduced. Then, we propose a mathematical interpretation why the SGD with momentum converges faster and more robust about the learning rate than the standard SGD in practice. Finally, we show the Nesterov momentum under the existence of noise has no essential difference with the standard momentum.

研究动机与目标

• 理解 SGDM 在非凸优化中表现优越的理论机制。
• 研究学习率与动量系数如何共同影响 SGDM 的线性收敛速率。
• 为观察到的 SGDM 相较于标准 SGD 具有更快收敛速度和更高鲁棒性的现象提供数学解释。
• 分析在噪声存在下 Nesterov 动量的作用，并将其与随机设置下的标准动量进行比较。

提出的方法

• 将依赖超参数的随机微分方程（hp-dependent SDE）作为 SGDM 的连续近似模型提出。
• 运用诸如次协强性（hypocoercivity）和半经典分析等高级数学工具，研究 hp-dependent SDE 的动力学行为。
• 通过分析 Kramers-Fokker-Planck 算子的谱，推导出最优线性收敛速率的显式表达式。
• 为 Nesterov 加速梯度（NAG-SC 与 NAG-C）推导出高分辨率 SDE，以与标准 SGDM 模型进行对比。
• 引入混合参数 μ = (1−α)²/(1+α)² · 1/s，以统一学习率与动量系数的依赖关系。
• 比较 hp-dependent SDE 与 NAG 变体的高分辨率 SDE 之间的指数衰减常数（收敛速率）

实验结果

研究问题

• RQ1 当学习率 s 固定时，SGDM 的迭代行为如何随动量系数 α 变化？
• RQ2 当动量系数 α 固定时，SGDM 的收敛行为如何随学习率 s 变化？
• RQ3 SGDM 相较于标准 SGD 为何收敛更快且更鲁棒？其数学原因是什么？
• RQ4 在存在噪声的情况下，Nesterov 动量是否相较于标准动量具有根本性优势？
• RQ5 在非凸优化中，超参数 s 与 α 如何共同影响线性收敛速率？

主要发现

• 在非凸优化中，SGDM 的线性收敛速率由学习率 s 与动量系数 α 共同决定，而非独立作用。
• 通过 hp-dependent SDE 框架下 Kramers-Fokker-Planck 算子的谱分析，显式推导出最优线性收敛速率。
• 当动量系数 α 从 0 增加到 1 时，最优收敛速率显著提升，且不带动量的 SGD 最终间隙随 α 增大而减小。
• hp-dependent SDE 模型表明，由于动量的稳定作用，SGDM 比标准 SGD 对学习率变化更具鲁棒性。
• 在高分辨率 SDE 分析中，Nesterov 动量在噪声下并不展现出相对于标准动量的根本性优势；二者收敛动力学在渐近意义上等价。
• 当 α=0.9 且 s 较小时，hp-dependent SDE 与 NAG-SC 的高分辨率 SDE 的指数衰减常数在数量级上相近，证实了 α=0.9 的实际有效性。