[论文解读] On the Noisy Gradient Descent that Generalizes as SGD

Jingfeng Wu, Wenqing Hu+4 more|arXiv (Cornell University)|Jun 18, 2019

Sparse and Compressive Sensing Techniques参考文献 52被引用 19

一句话总结

本文提出了一种新型的噪声梯度下降框架，通过将梯度噪声建模为梯度矩阵与采样噪声的乘积，证明只要幅度和协方差结构设置得当，噪声类别对泛化性能并非关键。核心贡献是一种计算高效的算法 [MSGD-Fisher]-B，通过注入稀疏高斯采样噪声，成功弥合了大批次训练中的泛化差距，其性能优于标准的大批次SGD，并达到小批次SGD的水平。

ABSTRACT

The gradient noise of SGD is considered to play a central role in the observed strong generalization abilities of deep learning. While past studies confirm that the magnitude and the covariance structure of gradient noise are critical for regularization, it remains unclear whether or not the class of noise distributions is important. In this work we provide negative results by showing that noises in classes different from the SGD noise can also effectively regularize gradient descent. Our finding is based on a novel observation on the structure of the SGD noise: it is the multiplication of the gradient matrix and a sampling noise that arises from the mini-batch sampling procedure. Moreover, the sampling noises unify two kinds of gradient regularizing noises that belong to the Gaussian class: the one using (scaled) Fisher as covariance and the one using the gradient covariance of SGD as covariance. Finally, thanks to the flexibility of choosing noise class, an algorithm is proposed to perform noisy gradient descent that generalizes well, the variant of which even benefits large batch SGD training without hurting generalization.

研究动机与目标

• 探究噪声分布类别是否对随机梯度下降（SGD）泛化性能具有决定性影响。
• 通过将梯度噪声分解为梯度矩阵与采样噪声分量，理解SGD中梯度噪声的来源。
• 开发一种实用且高效的算法，用于注入结构化噪声，使大批次SGD的泛化性能达到小批次SGD的水平。
• 将现有的基于高斯噪声的正则化方法（如使用缩放Fisher信息或梯度协方差）统一于同一采样噪声框架之下。

提出的方法

• 本文提出将SGD的梯度噪声分解为梯度矩阵与由小批量选择引起的采样噪声的乘积。
• 研究发现，决定SGD中有效噪声分布的是采样噪声，而非梯度矩阵本身。
• 作者提出 [MSGD-Fisher]-B，一种小批量MSGD的变体，通过注入稀疏高斯采样噪声来补偿大批次训练中噪声的缺失。
• 该方法通过使用保持梯度矩阵协方差结构的结构化采样噪声，避免了基于SVD的昂贵噪声注入。
• 理论分析表明，使用高斯MSGD时，离散迭代与连续SDE之间可实现强收敛，从而实现更快收敛。
• 在玩具数据集和真实模型（如CIFAR-10上的ResNet-18）上进行了实证验证，用于比较泛化性能与收敛速度。

实验结果

研究问题

• RQ1 噪声分布类别是否是随机优化方法泛化性能的关键因素？
• RQ2 小批量SGD中的采样过程如何导致观测到的梯度噪声结构？
• RQ3 在幅度与协方差结构得到恰当控制的前提下，是否可使用非高斯噪声类别有效正则化梯度下降？
• RQ4 能否设计一种计算高效的算法，用于注入补偿性噪声，以恢复大批次SGD的泛化能力？
• RQ5 不同噪声分布之间在收敛速度与最终泛化性能方面有何差异？

主要发现

• 噪声类别并非正则化的决定性因素；相反，噪声幅度与协方差结构对泛化更为关键。
• SGD中的梯度噪声源于梯度矩阵与采样噪声的乘积，该发现统一了两种现有基于高斯噪声的方法：一种使用缩放Fisher信息，另一种使用梯度协方差作为协方差。
• [MSGD-Fisher]-B 算法成功弥合了大批次训练中的泛化差距，在CIFAR-10上使用ResNet-18时，其性能与小批次SGD相当。
• 高斯MSGD的收敛速度优于其他噪声类型，可能归因于离散迭代与连续SDE之间实现了强收敛。
• 梯度矩阵保留了正则化所需的关键结构信息，这一点由MSGD-Bernoulli/Fisher优于GLD-diag（后者破坏了该结构）的实验结果得到证实。
• 实验表明，即使噪声幅度经过调优，未补偿的大批次SGD仍泛化性能差，而 [MSGD-Fisher]-B 成功恢复了泛化能力，且未牺牲训练速度。