[论文解读] Stability and Convergence of Stochastic Gradient Clipping: Beyond Lipschitz Continuity and Smoothness

V. Vien, Mikael Johansson|arXiv (Cornell University)|Feb 12, 2021

Stochastic Gradient Optimization Techniques参考文献 37被引用 15

一句话总结

该论文首次为在非光滑凸函数上使用梯度剪裁的随机（次）梯度下降方法建立了有限收敛速率，这些函数的次梯度呈快速增长，证明了梯度剪裁可增强稳定性，并在梯度无界时仍能实现收敛。通过一种新颖的李雅普诺夫分析，作者证明该方法在标准假设下，对弱凸问题实现了目前已知的最佳收敛速率。

ABSTRACT

Stochastic gradient algorithms are often unstable when applied to functions that do not have Lipschitz-continuous and/or bounded gradients. Gradient clipping is a simple and effective technique to stabilize the training process for problems that are prone to the exploding gradient problem. Despite its widespread popularity, the convergence properties of the gradient clipping heuristic are poorly understood, especially for stochastic problems. This paper establishes both qualitative and quantitative convergence results of the clipped stochastic (sub)gradient method (SGD) for non-smooth convex functions with rapidly growing subgradients. Our analyses show that clipping enhances the stability of SGD and that the clipped SGD algorithm enjoys finite convergence rates in many cases. We also study the convergence of a clipped method with momentum, which includes clipped SGD as a special case, for weakly convex problems under standard assumptions. With a novel Lyapunov analysis, we show that the proposed method achieves the best-known rate for the considered class of problems, demonstrating the effectiveness of clipped methods also in this regime. Numerical results confirm our theoretical developments.

研究动机与目标

• 解决在梯度无界或快速增长问题中随机梯度方法的不稳定性。
• 在传统Lipschitz连续性和光滑性假设之外，研究剪裁随机（次）梯度下降的收敛性质。
• 在次梯度增长快于二次型的非光滑凸函数上，建立剪裁SGD的有限收敛速率。
• 在标准假设下，分析剪裁动量方法在弱凸问题中的收敛性。
• 证明梯度剪裁可提升稳定性，并在标准SGD失效的场景中实现收敛。

提出的方法

• 提出一种剪裁随机（次）梯度方法，其中更新方向被裁剪至半径为γk的球内，以控制步长并防止发散。
• 使用一种新颖的李雅普诺夫函数分析方法，以建立收敛性，尤其适用于弱凸和非光滑问题。
• 分析标准剪裁SGD和一种动量变体，表明动量版本实现了目前已知的最佳收敛速率。
• 引入一种类似邻近的分析框架，以界定向量期望的次梯度范数并控制迭代点的行为。
• 通过Moreau包络的正则化技术处理非光滑性，并推导收敛边界。
• 通过分析结合目标函数值和梯度范数项的李雅普诺夫函数的期望下降，推导收敛速率。

实验结果

研究问题

• RQ1 梯度剪裁能否稳定非光滑凸函数上具有无界次梯度的随机梯度下降？
• RQ2 当标准光滑性和Lipschitz假设不成立时，剪裁SGD可实现的收敛速率是什么？
• RQ3 在弱凸设置中，动量的引入如何影响剪裁随机梯度方法的收敛性？
• RQ4 能否构造一种李雅普诺夫函数，以在弱化正则性条件下证明有限收敛速率？
• RQ5 当梯度增长快于二次型时，梯度剪裁是否在随机设置中仍能保持收敛性？

主要发现

• 剪裁随机（次）梯度方法在次梯度快速增长的非光滑凸函数上实现了有限收敛速率，即使梯度无界亦成立。
• 所提出的带动量方法在标准假设下，对弱凸问题实现了目前已知的最佳收敛速率。
• 开发了一种新颖的李雅普诺夫分析方法，通过界定向量期望的Moreau包络中梯度范数来建立收敛性。
• 在最小假设下推导出收敛速率——仅要求次梯度在有界集上有界，这对连续函数成立。
• 数值结果验证了理论发现，显示在实践中具有改进的稳定性和收敛性。
• 分析表明，剪裁可防止发散，并在缺乏Lipschitz连续性或有界梯度时仍能实现收敛。