[论文解读] Understanding the unstable convergence of gradient descent

Kwangjun Ahn, Jingzhao Zhang+1 more|arXiv (Cornell University)|Apr 3, 2022

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

本文研究了梯度下降中的不稳定收敛现象，即当步长超过传统的 $2/L$ 临界值时，训练损失仍呈现非单调下降。文章识别出关键原因——缺乏平坦的驻点以及GD动力学的前向不变性，并通过损失、迭代点和尖锐度的振荡行为对不稳定收敛进行表征，提出了一套超越经典稳定性假设的、原理清晰的深度学习优化理解框架。

ABSTRACT

Most existing analyses of (stochastic) gradient descent rely on the condition that for $L$-smooth costs, the step size is less than $2/L$. However, many works have observed that in machine learning applications step sizes often do not fulfill this condition, yet (stochastic) gradient descent still converges, albeit in an unstable manner. We investigate this unstable convergence phenomenon from first principles, and discuss key causes behind it. We also identify its main characteristics, and how they interrelate based on both theory and experiments, offering a principled view toward understanding the phenomenon.

研究动机与目标

• 理解为何在违反经典 $\eta < 2/L$ 稳定性条件的情况下，梯度下降在实践中仍常出现不稳定收敛。
• 识别不稳定收敛的根本原因，特别是缺乏平坦驻点以及GD动力学的前向不变性。
• 从损失、迭代点和尖锐度行为的角度，表征不稳定收敛的主要特征。
• 建立相对进展、方向平滑度与不稳定动力学之间在理论和实证上的联系。
• 将洞察拓展至随机梯度下降（SGD），表明在小批量训练下类似不稳定行为依然存在。

提出的方法

• 引入相对进展比 $\text{RP}(\bm{\theta})$ 以量化每一步梯度下降的预期损失变化，从而实现对非单调下降行为的分析。
• 将方向平滑度 $L(\bm{\theta}; \mathbf{v})$ 定义为沿方向 $\mathbf{v}$ 的局部梯度变化度量，这对于分析非凸设置下的非Lipschitz行为至关重要。
• 推导出SGD的理论关系式 $\mathbb{E}[\text{RP}(\bm{\theta})] \approx -1 + \frac{\eta}{2} \cdot \mathbb{E}\left[ \frac{\|g\|^2}{\|\nabla f\|^2} L(\bm{\theta}; \eta g) \right]$，将期望进展与方向平滑度联系起来。
• 在CIFAR-10上对ReLU和$tanh$网络进行实证验证，确认在大步长下损失和尖锐度呈现振荡行为。
• 通过理论分析与实验表明，不稳定收敛的特征表现为：损失在接近零处振荡，迭代点在 $2/\eta$ 附近振荡，尖锐度高于 $2/\eta$。
• 提出一种通过监控 $\text{RP}(\bm{\theta})$、方向平滑度和尖锐度演化过程来检测不稳定收敛的框架。

实验结果

研究问题

• RQ1 当步长超过 $2/L$ 时，梯度下降中不稳定收敛的根本原因是什么？
• RQ2 在稳定与不稳定收敛区域之间，损失、迭代点和尖锐度的动力学行为有何不同？
• RQ3 在训练损失随时间下降的情况下，SGD中的期望损失变化是否可能为负？
• RQ4 方向平滑度在实现不稳定收敛中起到何种作用？
• RQ5 GD中不稳定收敛的特征如何推广到小批量训练下的SGD？

主要发现

• 不稳定收敛发生在步长 $\eta > 2/L$ 时，尽管训练损失仍非单调下降，这与经典下降理论相矛盾。
• 在不稳定区域，相对进展比 $\text{RP}(\bm{\theta})$ 在零附近振荡，表明尽管整体收敛，预期损失变化并不一定为负。
• 不稳定GD下的迭代点在 $2/\eta$ 附近振荡，表明梯度更新中存在动态平衡。
• 尖锐度（最大Hessian特征值）在 $2/\eta$ 以上振荡，表明模型在高曲率区域间移动。
• 理论关系式 $\mathbb{E}[\text{RP}(\bm{\theta})] \approx -1 + \frac{\eta}{2} \cdot \mathbb{E}\left[ \frac{\|g\|^2}{\|\nabla f\|^2} L(\bm{\theta}; \eta g) \right]$ 在ReLU和$tanh$网络上均得到实证验证，证实了方向平滑度的作用。
• 该现象在不同激活函数和批量设置下均表现稳健，表明其为深度学习优化中的根本性特征，而非特定架构的产物。