[论文解读] New Convergence Aspects of Stochastic Gradient Algorithms

Lam M. Nguyen, Phuong Ha Nguyen+4 more|arXiv (Cornell University)|Nov 10, 2018

Stochastic Gradient Optimization Techniques参考文献 20被引用 11

一句话总结

本文针对强凸目标下的随机梯度下降（SGD）和Hogwild!提出了一种新的收敛性分析，消除了经典分析中对随机梯度一致有界的假设。通过利用相对于真实梯度的梯度范数，并采用递减学习率，作者在更广泛的条件下证明了收敛性，扩展了SGD的最先进收敛区间，且无需依赖有界梯度假设。

ABSTRACT

The classical convergence analysis of SGD is carried out under the assumption that the norm of the stochastic gradient is uniformly bounded. While this might hold for some loss functions, it is violated for cases where the objective function is strongly convex. In Bottou et al. (2018), a new analysis of convergence of SGD is performed under the assumption that stochastic gradients are bounded with respect to the true gradient norm. We show that for stochastic problems arising in machine learning such bound always holds; and we also propose an alternative convergence analysis of SGD with diminishing learning rate regime. We then move on to the asynchronous parallel setting, and prove convergence of Hogwild! algorithm in the same regime in the case of diminished learning rate. It is well-known that SGD converges if a sequence of learning rates $\{η_t\}$ satisfies $\sum_{t=0}^\infty η_t ightarrow \infty$ and $\sum_{t=0}^\infty η^2_t < \infty$. We show the convergence of SGD for strongly convex objective function without using bounded gradient assumption when $\{η_t\}$ is a diminishing sequence and $\sum_{t=0}^\infty η_t ightarrow \infty$. In other words, we extend the current state-of-the-art class of learning rates satisfying the convergence of SGD.

研究动机与目标

• 为解决经典SGD收敛性分析的局限性，即假设随机梯度一致有界——这一条件在强凸问题中常被违反。
• 在较弱、更现实的梯度界下建立SGD的收敛性：即随机梯度在范数上相对于真实梯度有界。
• 在相同宽松假设和递减学习率下，将收敛性结果扩展至异步的Hogwild!算法。
• 在不依赖随机梯度一致有界性的前提下，仅通过满足∑ηₜ = ∞的递减步长，证明SGD在强凸目标下的收敛性。
• 将保证收敛性的学习率序列类推广至标准条件∑ηₜ = ∞和∑ηₜ² < ∞之外。

提出的方法

• 引入一种新的梯度界假设：E[‖∇f(w;ξ)‖²] ≤ 4L(F(w)−F(w*)) + N/kₜ，该假设在具有强凸目标的机器学习问题中自然成立。
• 采用李雅普诺夫函数方法分析到最优解的期望平方距离，即E[‖wₜ₊₁−w*‖²]。
• 推导出递推不等式：E[‖wₜ₊₁−w*‖²] ≤ (1−μηₜ)E[‖wₜ−w*‖²] + ηₜ²(ND/kₜ)，条件为ηₜ ≤ 1/(2LD)。
• 通过积分变换进行连续时间近似，定义M(t) = ∫₀ᵗ μn(x)dx和K(t) = ∫₁ᵗ k(x)dx，以分析残差项的收敛性。
• 通过变量替换和代换（x = K⁻¹(y)）将离散递推映射为可通过第D.6节结果分析的形式，从而证明残差项的收敛性。
• 通过证明残差项C(t) → 0（当t → ∞时），在∑ηₜ = ∞且ηₜ ≤ 1/(2LD)条件下，建立迭代序列wₜ对w*的收敛性。

实验结果

研究问题

• RQ1 SGD在强凸目标下是否可在不假设随机梯度一致有界的情况下收敛？
• RQ2 当随机梯度在真实梯度范数的意义上受约束时，SGD的收敛性是否仍然成立？
• RQ3 该收敛性分析能否在相同宽松梯度假设下扩展至异步的Hogwild!算法？
• RQ4 在移除经典有界梯度假设后，何种递减学习率序列可保证SGD的收敛性？
• RQ5 该收敛性证明能否推广至标准条件∑ηₜ = ∞和∑ηₜ² < ∞之外？

主要发现

• 本文证明了在随机梯度相对于真实梯度范数有界的假设下，SGD可收敛至最优解w*，该假设在具有强凸目标的机器学习问题中自然成立。
• 对于任意满足∑ₜ₌₀^∞ ηₜ = ∞且ηₜ ≤ 1/(2LD)的递减学习率序列{ηₜ}，SGD的收敛性得以建立，且无需依赖经典的一致有界性假设。
• 该分析可扩展至异步的Hogwild!算法，证明其在相同学习率和梯度界条件下也具有收敛性。
• 作者表明，在强凸设置下，经典有界梯度假设并非收敛所必需，从而拓宽了SGD的理论基础。
• 收敛界中的残差项C(t)被证明在t → ∞时趋于零，意味着到最优解的期望距离趋于零。