[论文解读] On the Heavy-Tailed Theory of Stochastic Gradient Descent for Deep Neural Networks

Umut Şimşekli, Mert Gürbüzbalaban+3 more|arXiv (Cornell University)|Nov 29, 2019

Stochastic Gradient Optimization Techniques参考文献 90被引用 22

一句话总结

本文挑战了深度学习中随机梯度噪声（GN）为高斯分布的普遍假设，提出GN更符合重尾的 $α$-稳定分布。通过将SGD建模为 Lévy 驱动的随机微分方程（SDE）的离散化形式，作者表明尾部越重（$α$ 越小），收敛速度越慢，并借助元稳定性理论解释了为何SGD倾向于选择宽谷值，该结论在多种网络架构、数据集和损失函数下均得到实证验证。

ABSTRACT

The gradient noise (GN) in the stochastic gradient descent (SGD) algorithm is often considered to be Gaussian in the large data regime by assuming that the \emph{classical} central limit theorem (CLT) kicks in. This assumption is often made for mathematical convenience, since it enables SGD to be analyzed as a stochastic differential equation (SDE) driven by a Brownian motion. We argue that the Gaussianity assumption might fail to hold in deep learning settings and hence render the Brownian motion-based analyses inappropriate. Inspired by non-Gaussian natural phenomena, we consider the GN in a more general context and invoke the \emph{generalized} CLT, which suggests that the GN converges to a \emph{heavy-tailed} $α$-stable random vector, where \emph{tail-index} $α$ determines the heavy-tailedness of the distribution. Accordingly, we propose to analyze SGD as a discretization of an SDE driven by a Lévy motion. Such SDEs can incur `jumps', which force the SDE and its discretization \emph{transition} from narrow minima to wider minima, as proven by existing metastability theory and the extensions that we proved recently. In this study, under the $α$-stable GN assumption, we further establish an explicit connection between the convergence rate of SGD to a local minimum and the tail-index $α$. To validate the $α$-stable assumption, we conduct experiments on common deep learning scenarios and show that in all settings, the GN is highly non-Gaussian and admits heavy-tails. We investigate the tail behavior in varying network architectures and sizes, loss functions, and datasets. Our results open up a different perspective and shed more light on the belief that SGD prefers wide minima.

研究动机与目标

• 挑战SGD中梯度噪声（GN）为高斯分布的普遍假设，尤其是在深度神经网络中的情况。
• 提出一种新理论框架，表明在广义中心极限定理下，GN 会收敛至 $α$-稳定分布，而非高斯分布。
• 将SGD视为由 Lévy 运动驱动的SDE的离散时间近似，从而允许跳跃动态，而非扩散性的布朗运动。
• 建立GN尾指数 $α$ 与SGD收敛至局部极小值速度之间的定量关联。
• 通过实证方法在多种网络架构、损失函数、数据集和训练设置下验证GN的重尾特性。

提出的方法

• 理论分析基于广义中心极限定理，该定理证明当方差为无穷时，GN 会收敛至 $α$-稳定分布。
• 将SGD建模为由 Lévy 运动驱动的连续时间SDE的离散时间近似，从而允许跳跃动态，而非仅扩散性布朗运动。
• 应用元稳定性理论，表明 Lévy 驱动的SDE 可通过大跳跃实现从窄谷值到更宽谷值的跃迁。
• 在 $α$-稳定GN假设下推导收敛率分析，表明随着 $α$ 减小（尾部变重），收敛速度变慢。
• 使用Hill估计器对训练模型中提取的梯度噪声样本进行尾指数 $α$ 的估计。
• 实验系统性地改变网络规模、小批量大小和训练阶段，以评估不同架构和数据集下的尾部行为。

实验结果

研究问题

• RQ1 SGD在深度神经网络中的梯度噪声是否表现出重尾行为，从而与经典高斯假设相矛盾？
• RQ2 梯度噪声分布的尾指数 $α$ 如何影响SGD的收敛速度？
• RQ3 将SGD建模为Lévy驱动SDE的离散化形式，能否解释其在深度学习中倾向于选择宽谷值的现象？
• RQ4 GN的重尾特性在不同网络架构、损失函数和数据集上的鲁棒性如何？
• RQ5 尾指数 $α$ 与训练模型的泛化性能之间是否存在可测量的关联？

主要发现

• 实证结果证实，所有测试的深度学习设置中，梯度噪声均显著偏离高斯分布，表现出重尾行为，且尾指数 $α$ 均稳定低于2。
• 尾指数 $α$ 在不同网络规模、架构和数据集上均保持稳定，表明GN具有普遍的重尾特性。
• 较小的小批量大小导致更重的尾部（$α$ 更小），表明随机性与重尾噪声之间存在直接关联。
• SGD的收敛速度被证明明确依赖于 $α$，尾部越重，收敛越慢，与理论分析预测一致。
• 理论与实证结果共同支持如下假设：Lévy驱动的动力学使SGD能够逃离窄谷值，并收敛至更宽、更具泛化能力的解。