[论文解读] Stochastic Heavy Ball

Sébastien Gadat, Fabien Panloup+1 more|arXiv (Cornell University)|Sep 14, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用 7

一句话总结

本文引入并分析了随机次梯度法（stochastic heavy-ball method），一种结合动量与噪声的二阶优化算法。该文建立了非凸强制函数的几乎必然收敛性，推导了凸与强凸情形下的非渐近收敛速率，并在高斯噪声假设下获得了重缩放过程的极限定理，为机器学习与大规模设置中的随机动量优化提供了理论保证。

ABSTRACT

This paper deals with a natural stochastic optimization procedure derived from the so-called Heavy-ball method differential equation, which was introduced by Polyak in the 1960s with his seminal contribution [Pol64]. The Heavy-ball method is a second-order dynamics that was investigated to minimize convex functions f . The family of second-order methods recently received a large amount of attention, until the famous contribution of Nesterov [Nes83], leading to the explosion of large-scale optimization problems. This work provides an in-depth description of the stochastic heavy-ball method, which is an adaptation of the deterministic one when only unbiased evalutions of the gradient are available and used throughout the iterations of the algorithm. We first describe some almost sure convergence results in the case of general non-convex coercive functions f . We then examine the situation of convex and strongly convex potentials and derive some non-asymptotic results about the stochastic heavy-ball method. We end our study with limit theorems on several rescaled algorithms.

研究动机与目标

• 为随机次梯度法建立严谨的理论框架，该方法是 Polyak 的确定性二阶优化方法在存在噪声梯度情形下的扩展。
• 在最小化一般非凸、强制函数时，建立随机次梯度法迭代序列的几乎必然收敛性。
• 推导随机次梯度法在强凸与凸情形下的非渐近收敛速率。
• 通过极限定理研究算法重缩放版本的渐近行为，尤其在高斯噪声假设下。
• 弥合确定性二阶动力系统与其随机对应物之间的差距，特别是在 Nesterov 加速方法与基于动量的优化方面。

提出的方法

• 将基于带阻尼的二阶微分方程的确定性次梯度法，推广至仅在每次迭代中可获得无偏梯度估计的随机设置。
• 采用形式为 $ X_{k+1} = X_k + \theta_k (X_k - X_{k-1}) - \beta_k \nabla f(X_k) + \text{noise} $ 的递归随机算法，其中步长 $ \gamma_k $、动量参数 $ \theta_k $ 与噪声项随时间变化。
• 利用切比雪夫不等式与中位数中心化方法控制噪声的二阶矩，假设噪声为次高斯或方差有界（例如，$ \mathbb{E}[\xi_{k}^2] \leq \sigma^2 $）。
• 在索引集 $ \mathcal{T}_n = \{n, n+1, \dots\} $ 上应用链式论证，以控制经验过程的上确界 $ \sup_{k \geq n} \gamma_k^2 \|Z_k\|^2 $，其中 $ Z_k \sim \mathcal{N}(0, \sigma^2 I_d) $。
• 通过拉普拉斯变换估计卡方类似变量的矩界，利用不等式 $ \log \mathbb{E} e^{\lambda (X_i - X_j)} \lesssim a\lambda d(i,j) + \frac{v\lambda^2 d^2(i,j)}{2(1 - c\lambda d(i,j))} $，其中伪度量 $ d(i,j) = |\gamma_i^2 - \gamma_j^2| $。
• 应用引理 32（来自 [BLM13]）通过覆盖数 $ N(\epsilon, \mathcal{T}_n) $ 有界预期上确界，当步长满足幂律形式 $ \gamma_k = \gamma k^{-\nu} $ 时，得到阶为 $ \gamma_n^2 \log(\gamma_n^{-2}) $ 的界。

实验结果

研究问题

• RQ1 在一般非凸、强制函数下，随机次梯度法是否能以几乎必然收敛至临界点？
• RQ2 在凸与强凸设定下，随机次梯度法可建立何种非渐近收敛速率？
• RQ3 在时间重缩放下，迭代序列的行为如何？其重缩放过程的渐近分布由何种极限定理控制？
• RQ4 在梯度噪声假设下，随机次梯度法能否实现最优收敛速率，特别是在噪声为高斯分布时？
• RQ5 动量与步长序列在控制随机算法的方差与收敛性方面起何作用？

主要发现

• 在梯度噪声的矩与正则性假设较弱时，随机次梯度法对非凸、强制函数可实现几乎必然收敛至临界点。
• 对于强凸函数，本文推导出非渐近收敛速率，其期望平方距离至最小值点的衰减速率与 $ \gamma_n^2 \log(\gamma_n^{-2}) $ 成正比，具体取决于步长序列。
• 在高斯噪声假设下，本文建立了过程上确界 $ \sup_{k \geq n} \gamma_k^2 \|Z_k\|^2 $ 的矩界，表明尾部行为受 $ \gamma_n^2 \log(\gamma_n^{-2}) $ 控制，仅差于绝对常数。
• 当 $ \gamma_k = \gamma k^{-\nu} $ 时，索引集 $ \mathcal{T}_n $ 在伪度量 $ d(i,j) = |\gamma_i^2 - \gamma_j^2| $ 下的覆盖数有界于 $ \sim \epsilon^{-1/2\nu} $，从而支持链式论证。
• 链式论证导出的经验过程预期上确界有界，其量级为 $ \gamma_n^2 \log(\gamma_n^{-2}) $，在给定假设下为紧界。
• 分析表明，即使在噪声梯度评估下，随机次梯度法仍继承了其确定性对应物的有利性质，包括动量驱动的加速特性。