[论文解读] SGD Implicitly Regularizes Generalization Error

Daniel A. Roberts|arXiv (Cornell University)|Apr 10, 2021

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文表明，随机梯度下降（SGD）通过解耦相邻梯度更新，隐式正则化泛化误差，导致参数更新出现漂移，从而减轻过拟合。关键结果表明，SGD与全批量GD的梯度差异与泛化误差平均变化的导数成正比，通过可测量的梯度统计量（如均值和协方差）使SGD的隐式正则化显式化。

ABSTRACT

We derive a simple and model-independent formula for the change in the generalization gap due to a gradient descent update. We then compare the change in the test error for stochastic gradient descent to the change in test error from an equivalent number of gradient descent updates and show explicitly that stochastic gradient descent acts to regularize generalization error by decorrelating nearby updates. These calculations depends on the details of the model only through the mean and covariance of the gradient distribution, which may be readily measured for particular models of interest. We discuss further improvements to these calculations and comment on possible implications for stochastic optimization.

研究动机与目标

• 为了理解为何SGD在模型容量较高时仍能实现良好泛化，尤其是在全批量GD失败的情况下。
• 为了识别SGD相比全批量GD表现出更优泛化性能的机制。
• 为了推导梯度更新如何影响泛化误差的模型无关公式。
• 为了证明SGD的隐式正则化源于梯度解耦，而不仅仅是噪声注入。
• 为了提供一个通过梯度统计量（如均值和协方差）测量和利用隐式正则化的框架。

提出的方法

• 仅使用梯度分布的均值和协方差，推导单次梯度更新后泛化误差变化的一般公式。
• 通过分析SGD与全批量GD梯度更新的差异，比较两者的动态，表明该差异与平均泛化误差变化的导数成正比。
• 使用损失函数的二阶泰勒展开，对GD和SGD下的参数更新进行建模，精度达O(η³)。
• 引入关键方程：⟨δgᵢ⟩ = −½ ∂ᵢ⟨δε⟩，其中⟨δgᵢ⟩为SGD与GD之间梯度差异的平均值，⟨δε⟩为泛化误差平均变化量。
• 表明⟨δε⟩与梯度协方差矩阵的迹tr(Σ)成正比，从而将泛化性能直接与梯度波动联系起来。
• 提出SGD中的隐式正则化源于梯度解耦引起的漂移项，而非仅各向同性噪声，且可通过损失修改或预条件化使该机制显式化。

实验结果

研究问题

• RQ1 SGD与全批量GD在长时间内对泛化误差的影响有何不同？
• RQ2 梯度协方差及其时间演化在隐式正则化中扮演什么角色？
• RQ3 为何SGD在使用精度较低的梯度估计时仍能比全批量GD泛化得更好？
• RQ4 SGD的隐式正则化能否通过可测量量（如梯度均值和协方差）显式化？
• RQ5 训练集与测试集梯度分布之间的差异如何影响过拟合与泛化？

主要发现

• SGD与全批量GD梯度之间的差异与平均泛化误差变化的导数成正比，如公式⟨δgᵢ⟩ = −½ ∂ᵢ⟨δε⟩所示。
• 泛化误差的平均变化量⟨δε⟩与梯度协方差矩阵的迹tr(Σ)成正比，意味着泛化误差直接依赖于梯度波动。
• SGD的隐式正则化并非源于各向同性噪声，而是由相邻更新解耦引起的漂移项所致，该机制可减少过拟合偏差。
• 结果具有模型无关性，仅依赖于可测量量：小批量梯度分布的均值和协方差。
• 训练集与测试集梯度分布之间的差异引入了额外的过拟合项G_train ⋅ (G_test − G_train)，该因素在主要机制之外影响泛化误差。
• 这些发现提示实际改进方法：通过引入基于tr(Σ)的显式正则化修改损失函数，或使用梯度协方差矩阵的逆作为预条件矩阵，以实现更快、更具泛化能力的优化。