[论文解读] The Heavy-Tail Phenomenon in SGD

Mert Gürbüzbalaban, Umut Şimşekli+1 more|arXiv (Cornell University)|Jun 8, 2020

Stochastic Gradient Optimization Techniques参考文献 56被引用 38

一句话总结

该论文证明在二次设定下，SGD迭代可以收敛到重尾的平稳分布，尾部重量由步长、批大小、维度和曲率控制，并通过在神经网络上的实验予以印证。

ABSTRACT

In recent years, various notions of capacity and complexity have been proposed for characterizing the generalization properties of stochastic gradient descent (SGD) in deep learning. Some of the popular notions that correlate well with the performance on unseen data are (i) the `flatness' of the local minimum found by SGD, which is related to the eigenvalues of the Hessian, (ii) the ratio of the stepsize $η$ to the batch-size $b$, which essentially controls the magnitude of the stochastic gradient noise, and (iii) the `tail-index', which measures the heaviness of the tails of the network weights at convergence. In this paper, we argue that these three seemingly unrelated perspectives for generalization are deeply linked to each other. We claim that depending on the structure of the Hessian of the loss at the minimum, and the choices of the algorithm parameters $η$ and $b$, the SGD iterates will converge to a \emph{heavy-tailed} stationary distribution. We rigorously prove this claim in the setting of quadratic optimization: we show that even in a simple linear regression problem with independent and identically distributed data whose distribution has finite moments of all order, the iterates can be heavy-tailed with infinite variance. We further characterize the behavior of the tails with respect to algorithm parameters, the dimension, and the curvature. We then translate our results into insights about the behavior of SGD in deep learning. We support our theory with experiments conducted on synthetic data, fully connected, and convolutional neural networks.

研究动机与目标

• 阐明容量和复杂性等概念与深度学习中 SGD 泛化之间的关系。
• 表明在某些算法设定和问题情形下，SGD 迭代可以收敛到重尾的平稳分布。
• 表征尾部厚度如何依赖于步长、批大小、维度和曲率。
• 在线性/二次设定中提供严格的结论，并将它们与深度学习的观察联系起来。
• 用合成数据和神经网络的实验来支持理论。

提出的方法

• 将 SGD 模型化为一个迭代的随机递归 x_k = Psi_Omega_k(x_{k-1}).
• 在二次极小值附近近似为仿射递归 x_k ≈ (I - (eta/b) H_k) x_{k-1} + q_k。
• 应用隐式再生理论和随机矩阵递归来通过 h(alpha)=1 推导尾指數 alpha。
• 在高斯输入下，尾指數随批量大小增加而增大，且随步长和方差而减小。
• 基于 alpha 相对于 2 的关系，确立步长与收敛的三种情形。
• 给出非渐近矩及 Wasserstein 距离收敛结果.

实验结果

研究问题

• RQ1 在标准的二次/线性回归设定下，SGD 是否收敛到具有重尾的平稳分布？
• RQ2 步长、批大小、维度和曲率如何影响 SGD 平稳分布的尾指数？
• RQ3 我们是否可以在高斯及非高斯数据模型中，明确地将尾部厚度与算法参数联系起来？
• RQ4 重尾性对深度学习中的收敛速率与泛化有何影响？
• RQ5 神经网络中的实验结果是否印证理论上的重尾行为？

主要发现

• 即使数据为轻尾，二次/线性回归下，SGD 迭代仍可能具有方差无限的重尾平稳分布。
• 存在唯一的 alpha>0 使得 h(alpha)=1，决定尾部衰减；u^T x_infty 呈多项式尾形，指数为 alpha。
• 对于高斯输入，尾部厚度随曲率和 eta/b 比例增加而增加，随批大小 b 减小。
• 当 rho<0 时，平稳分布在 Wasserstein 距离下以指数速率收敛到平衡。
• 根据 eta 和 b，可以识别三种情形：有限方差（alpha>2），重尾（alpha<2），以及潜在发散（rho≥0）。
• 当 alpha <= 1 时，x_k 的某些矩保持有限；当 alpha > 1 时，较高矩被受控并给出显式界限。