[论文解读] SGD momentum optimizer with step estimation by online parabola model

Jarek Duda|arXiv (Cornell University)|Jul 16, 2019

Stochastic Gradient Optimization Techniques参考文献 13被引用 9

一句话总结

该论文提出了一种在SGD动量框架内在线拟合抛物线的建模方法，仅使用一阶梯度来估计最优步长。通过在动量方向上对梯度趋势应用在线线性回归，该方法近似计算曲率，并以极低的计算开销实现自适应的、类似二阶优化的步长调整，从而在深度学习的非凸优化中提升收敛性能。

ABSTRACT

In stochastic gradient descent, especially for neural network training, there are currently dominating first order methods: not modeling local distance to minimum. This information required for optimal step size is provided by second order methods, however, they have many difficulties, starting with full Hessian having square of dimension number of coefficients. This article proposes a minimal step from successful first order momentum method toward second order: online parabola modelling in just a single direction: normalized $\hat{v}$ from momentum method. It is done by estimating linear trend of gradients $\vec{g}= abla F(\vecθ)$ in $\hat{v}$ direction: such that $g(\vecθ_\bot+θ\hat{v})\approx λ(θ-p)$ for $θ= \vecθ\cdot \hat{v}$, $g= \vec{g}\cdot \hat{v}$, $\vecθ_\bot=\vecθ-θ\hat{v}$. Using linear regression, $λ$, $p$ are MSE estimated by just updating four averages (of $g$, $θ$, $gθ$, $θ^2$) in the considered direction. Exponential moving averages allow here for inexpensive online estimation, weakening contribution of the old gradients. Controlling sign of curvature $λ$, we can repel from saddles in contrast to attraction in standard Newton method. In the remaining directions: not considered in second order model, we can simultaneously perform e.g. gradient descent. There is also discussed its learning rate approximation as $μ=σ_θ/ σ_g$, allowing e.g. for adaptive SGD - with learning rate separately optimized (2nd order) for each parameter.

研究动机与目标

• 解决深度学习中随机梯度下降（SGD）的最优步长选择问题，其中一阶方法缺乏对曲率的感知。
• 通过在动量方向上使用在线线性回归对梯度趋势建模，实现低成本的二阶近似。
• 通过参数与梯度标准差之比（$\sigma_\theta / \sigma_g$）实现自适应学习率，近似逆Hessian矩阵对角线元素。
• 通过在单一方向上控制曲率符号，检测并排斥鞍点，从而改善收敛性。
• 以计算轻量、在线的方式，将一阶动量的效率与二阶优化的洞察力相结合。

提出的方法

• 在动量方向 $\hat{v}$ 上使用四个统计量的指数加权移动平均：$\overline{g}$, $\overline{\theta}$, $\overline{g\theta}$, 和 $\overline{\theta^2}$，以在梯度趋势上执行在线线性回归。
• 在动量向量 $\vec{v}$ 方向上对梯度建模为 $g(\theta) \approx \lambda(\theta - p)$，其中 $\lambda$ 表示曲率，$p$ 表示估计的最小值位置。
• 通过线性回归参数推导出 $\eta \propto \lambda^{-1}$ 作为最优步长估计，近似牛顿法步长。
• 引入学习率近似 $\mu = \sigma_\theta / \sigma_g$，提供对角Hessian逆矩阵的近似，实现每参数自适应的SGD。
• 通过控制曲率符号，避免被鞍点吸引，实现在建模方向上的无鞍点优化行为。
• 通过近期梯度的在线主成分分析（PCA）将方法扩展至高维空间，识别低维子空间以近似Hessian矩阵，保持或正交基并更新 $d \times d$ Hessian估计。

实验结果

研究问题

• RQ1 能否仅使用一阶梯度，在SGD动量框架中高效集成一种最小化的二阶近似？
• RQ2 能否在单一方向上对梯度趋势进行在线线性回归，以提供稳定且自适应的步长估计，从而改善收敛性？
• RQ3 比率 $\sigma_\theta / \sigma_g$ 能否作为逆Hessian对角线的实用且有效的近似，用于自适应学习率？
• RQ4 能否通过在单一方向上控制曲率符号，实现对鞍点的排斥，从而提升优化稳定性？
• RQ5 能否通过在线PCA将该方法扩展至高维子空间，同时保持低计算成本？

主要发现

• 该方法仅通过四个在线平均值即可实现二阶洞察，以可忽略的计算开销实现曲率感知的步长估计。
• 学习率近似 $\mu = \sigma_\theta / \sigma_g$ 提供了一种实用的、自适应的替代方案，避免了完整的Hessian矩阵求逆，近似了对角Hessian逆矩阵。
• 曲率符号控制可实现对鞍点的排斥，解决了标准牛顿方法的关键局限。
• 该方法与标准动量和梯度下降保持兼容，支持混合优化策略的实现。
• 通过在线PCA可将方法扩展至高维子空间，且 $d \approx 10$ 个维度已足够捕捉主导的Hessian结构。
• 实证结果表明，该在线抛物线模型通过基于局部曲率趋势自适应调整步长，可实现更快的收敛速度和更优的泛化性能。