[论文解读] Stochastic Gradient Descent with Large Learning Rate.

Kangqiao Liu, Liu Ziyin+1 more|arXiv (Cornell University)|Dec 7, 2020

Stochastic Gradient Optimization Techniques参考文献 77被引用 6

一句话总结

本文研究了学习率不衰减的随机梯度下降（SGD），在带和不带动量的二次损失设定下，推导出离散时间SGD的精确可解结果。它建立了稳定分布，并将其与实验观测联系起来，为近似误差、小批量噪声、逃离尖锐极小值以及二阶方法的平稳分布提供了理论洞见。

ABSTRACT

As a simple and efficient optimization method in deep learning, stochastic gradient descent (SGD) has attracted tremendous attention. In the vanishing learning rate regime, SGD is now relatively well understood, and the majority of theoretical approaches to SGD set their assumptions in the continuous-time limit. However, the continuous-time predictions are unlikely to reflect the experimental observations well because the practice often runs in the large learning rate regime, where the training is faster and the generalization of models are often better. In this paper, we propose to study the basic properties of SGD and its variants in the non-vanishing learning rate regime. The focus is on deriving exactly solvable results and relating them to experimental observations. The main contributions of this work are to derive the stable distribution for discrete-time SGD in a quadratic loss function with and without momentum. Examples of applications of the proposed theory considered in this work include the approximation error of variants of SGD, the effect of mini-batch noise, the escape rate from a sharp minimum, and and the stationary distribution of a few second order methods.

研究动机与目标

• 理解大学习率设置下SGD的行为，该设置在实践中很常见，但难以被连续时间近似所捕捉。
• 在带和不带动量的二次损失下，推导离散时间SGD的精确可解结果。
• 将理论预测与实验观测联系起来，特别是关于泛化能力和训练动态。
• 分析在非衰减学习率设置下近似误差、小批量噪声以及逃离尖锐极小值的影响。
• 利用所提出的框架表征二阶SGD变体的平稳分布。

提出的方法

• 将二次损失函数中的离散时间SGD动力学形式化为随机差分方程。
• 使用解析方法推导在非衰减学习率下参数更新过程的稳定分布。
• 通过将随机差分方程扩展以包含速度项，将动量引入模型。
• 将推导出的稳定分布应用于分析SGD变体中的近似误差。
• 量化小批量噪声对平稳分布和收敛行为的影响。
• 利用该框架估算从尖锐极小值逃逸的速率，并将其与学习率和噪声尺度联系起来。

实验结果

研究问题

• RQ1 在非衰减学习率的离散时间SGD中，二次损失设置下的精确稳定分布是什么？
• RQ2 动量的引入如何影响SGD的平稳分布和收敛特性？
• RQ3 小批量噪声与SGD中参数的平稳分布之间存在何种关系？
• RQ4 在非衰减设置下，学习率如何影响从尖锐极小值的逃逸速率？
• RQ5 在所提出的理论框架下，二阶SGD变体的平稳分布是什么？

主要发现

• 在二次损失函数下，精确推导出非衰减学习率下离散时间SGD的稳定分布，为观测到的训练动态提供了理论基础。
• 动量的引入改变了平稳分布，导致其收敛和泛化特性与标准SGD不同。
• 小批量噪声导致更宽的平稳分布，有助于解释实践中观察到的泛化性能提升。
• 随着学习率增大和噪声水平升高，从尖锐极小值的逃逸速率增加，与经验观察一致。
• 该框架成功预测了多种二阶SGD变体的平稳分布，验证了其在标准SGD之外的适用性。
• 该理论解释了为何大学习率能改善泛化：它通过增加参数更新中的有效噪声，导致更平坦的极小值。