[论文解读] Stochastic Gradient Descent for Nonconvex Learning without Bounded Gradient Assumptions

Yunwen Lei, Ting Hu+2 more|arXiv (Cornell University)|Feb 3, 2019

Stochastic Gradient Optimization Techniques参考文献 34被引用 10

一句话总结

本文在非凸优化中为随机梯度下降（SGD）建立了收敛性保证，无需假设梯度有界——这是以往研究中常见但难以验证的条件。通过利用 Hölder 连续梯度和 Polyak-Łojasiewicz（PL）条件，作者证明了几乎必然收敛性以及最优的 $O(1/t)$ 收敛速率，在零方差条件下实现了线性收敛，显著强化了深度学习中 SGD 的理论基础。

ABSTRACT

Stochastic gradient descent (SGD) is a popular and efficient method with wide applications in training deep neural nets and other nonconvex models. While the behavior of SGD is well understood in the convex learning setting, the existing theoretical results for SGD applied to nonconvex objective functions are far from mature. For example, existing results require to impose a nontrivial assumption on the uniform boundedness of gradients for all iterates encountered in the learning process, which is hard to verify in practical implementations. In this paper, we establish a rigorous theoretical foundation for SGD in nonconvex learning by showing that this boundedness assumption can be removed without affecting convergence rates. In particular, we establish sufficient conditions for almost sure convergence as well as optimal convergence rates for SGD applied to both general nonconvex objective functions and gradient-dominated objective functions. A linear convergence is further derived in the case with zero variances.

研究动机与目标

• 弥合非凸学习中 SGD 实践成功与理论理解之间的差距。
• 消除在实际中难以验证的非平凡梯度有界假设。
• 在不假设梯度有界的情况下，为非凸设置中的 SGD 建立几乎必然收敛性和最优收敛速率。
• 将收敛性分析扩展至满足 Polyak-Łojasiewicz（PL）条件的梯度主导函数。
• 在零方差条件下推导出线性收敛性，优于现有结果。

提出的方法

• 引入一种比标准 Lipschitz 连续性更弱的光滑性假设——梯度的 Hölder 连续性。
• 利用 Polyak-Łojasiewicz（PL）条件在不依赖梯度有界性假设的前提下建立 $O(1/t)$ 收敛速率。
• 采用基于漂移和鞅型论证的新型分析框架，以控制目标函数值的期望下降。
• 推导出确保函数值和梯度范数几乎必然收敛的步长充分条件。
• 引入零方差条件，并在该条件下证明了 SGD 的线性收敛性。
• 采用递推不等式框架以界定期望误差，利用 $t^{-\alpha}$ 项的可 summability 性质。

实验结果

研究问题

• RQ1 在非凸优化中，SGD 是否能在不假设梯度一致有界的情况下实现最优收敛速率？
• RQ2 在放松梯度光滑性假设的条件下，Polyak-Łojasiewicz（PL）条件是否仍能保证 $O(1/t)$ 收敛速率？
• RQ3 当梯度方差为零时，能否在非凸设置中为 SGD 建立线性收敛性？
• RQ4 何种步长条件可确保在不假设梯度有界性的情况下，非凸学习中 SGD 的几乎必然收敛？
• RQ5 梯度的 Hölder 连续性如何影响非凸问题中 SGD 的收敛行为？

主要发现

• 可移除梯度有界假设而不影响收敛速率，为非凸学习中的 SGD 建立了更稳健的理论基础。
• 对于具有 Hölder 连续梯度的一般非凸目标函数，证明了函数值和梯度范数几乎必然收敛至零。
• 在 PL 条件下，本文在不依赖梯度有界性假设的前提下建立了 SGD 的 $O(1/t)$ 收敛速率，与在更强假设下的最优已知速率一致。
• 在零方差梯度条件下，本文证明了 SGD 的线性收敛性，相较于一般非凸设置下的次线性速率有显著改进。
• 推导出确保几乎必然收敛的步长充分条件，并以 $t^{-\alpha}$ 形式给出了收敛速率的显式界。
• 分析表明，$\mathbb{E}[\mathcal{E}(\mathbf{w}_t) - \mathcal{E}(\mathbf{w}^*)] \to 0$ 几乎必然成立，且当 $t \to \infty$ 时，$\|\nabla\mathcal{E}(\mathbf{w}_t)\|_2 \to 0$ 几乎必然成立。