[论文解读] On Almost Sure Convergence Rates of Stochastic Gradient Methods

Jun Liu, Ye Yuan|arXiv (Cornell University)|Feb 9, 2022

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文为随机梯度下降（SGD）、随机加速重球（SHB）和随机Nesterov加速梯度（SNAG）方法提供了统一的几乎必然收敛速率分析。对于强凸函数，其几乎必然收敛速率可任意接近最优；对于非凸函数，证明了最后迭代点和梯度范数平方的加权平均的几乎必然收敛；对于一般凸函数，首次推导出最后迭代点的几乎必然收敛速率，尽管尚未达到最优。

ABSTRACT

The vast majority of convergence rates analysis for stochastic gradient methods in the literature focus on convergence in expectation, whereas trajectory-wise almost sure convergence is clearly important to ensure that any instantiation of the stochastic algorithms would converge with probability one. Here we provide a unified almost sure convergence rates analysis for stochastic gradient descent (SGD), stochastic heavy-ball (SHB), and stochastic Nesterov's accelerated gradient (SNAG) methods. We show, for the first time, that the almost sure convergence rates obtained for these stochastic gradient methods on strongly convex functions, are arbitrarily close to their optimal convergence rates possible. For non-convex objective functions, we not only show that a weighted average of the squared gradient norms converges to zero almost surely, but also the last iterates of the algorithms. We further provide last-iterate almost sure convergence rates analysis for stochastic gradient methods on weakly convex smooth functions, in contrast with most existing results in the literature that only provide convergence in expectation for a weighted average of the iterates.

研究动机与目标

• 解决在非凸和强凸设置下，随机加速重球（SHB）和随机Nesterov加速梯度（SNAG）方法缺乏几乎必然收敛速率分析的问题。
• 为分析SGD、SHB和SNAG的几乎必然收敛速率提供统一的理论框架。
• 在一般凸函数上建立最后迭代点的几乎必然收敛速率，填补了文献中此前未解决的空白。
• 证明在强凸情况下，收敛速率可任意接近几乎必然收敛下的最优可能速率。

提出的方法

• 基于鞅收敛定理和几乎必然收敛定理，采用统一的分析框架，分析SGD、SHB和SNAG。
• 应用鞅的大数定律和L²有界性，证明与梯度相关的项的几乎必然收敛。
• 采用步长规则 $\alpha_t = \Theta(1/t^{2/3 + \varepsilon})$，其中 $\varepsilon \in (0, 1/3)$，以推导最后迭代点的收敛速率。
• 利用 $\sum \|v_t}\|^2$ 和 $\sum \alpha_t w_t$ 的有界性，证明梯度和迭代点的几乎必然收敛。
• 将随机梯度分解为偏差和方差项：$\alpha_t w_t = \alpha_t(g_t - \nabla f(x_t)) + \alpha_t(\nabla f(x_t) - \nabla f(z_t))$，并证明每一项的几乎必然收敛。
• 应用引理4.1，令 $b_t = \|\nabla f(z_t)\|$ 且 $p=2$，以证明 $\nabla f(z_t) \to 0$ 几乎必然。

实验结果

研究问题

• RQ1 能否在强凸函数上为SHB和SNAG建立几乎必然收敛速率，其接近最优速率的程度如何？
• RQ2 对于光滑非凸函数，SHB和SNAG的最后迭代点是否几乎必然收敛，梯度范数的收敛速率如何？
• RQ3 能否为SGD、SHB和SNAG在一般凸函数上推导出最后迭代点的几乎必然收敛速率，其与现有期望值为基础的速率相比如何？
• RQ4 能否使这些方法在强凸情况下的几乎必然收敛速率任意接近最优速率？
• RQ5 在一般凸情况下，最后迭代点的几乎必然收敛速率的最紧上界是什么？能否将其改进至优于 $O(1/t^{1/3 - \varepsilon})$？

主要发现

• 对于强凸函数，SGD、SHB和SNAG的几乎必然收敛速率可任意接近可能达到的最优收敛速率。
• 对于光滑非凸函数，梯度范数平方的加权平均几乎必然收敛至零，且SHB和SNAG的最后迭代点几乎必然收敛至极小值点。
• 对于一般凸函数，本文首次建立了SGD、SHB和SNAG的最后迭代点几乎必然收敛速率，其量级为 $O(1/t^{1/3 - \varepsilon})$。
• 一般凸函数下的收敛速率 $O(1/t^{1/3 - \varepsilon})$ 尚未达到最优，因为期望收敛的下界更紧。
• 分析表明，$\sum \|v_t\|^2 < \infty$ 几乎必然成立，这意味着 $v_t \to 0$ 几乎必然，且 $\nabla f(x_t) \to 0$ 几乎必然。
• 证明技术依赖于将随机梯度误差分解为鞅差分项和偏差项，且在所选步长规则下，这两项均被证明几乎必然收敛。