[论文解读] The Implicit Regularization of Stochastic Gradient Flow for Least Squares

Alnur Ali, Edgar Dobriban+1 more|arXiv (Cornell University)|Mar 17, 2020

Stochastic Gradient Optimization Techniques参考文献 90被引用 19

一句话总结

本文在最小二乘问题中建立了小批量随机梯度流（SGF）与岭回归之间紧密的理论联系。通过连续时间随机微分方程模型，证明了在时间 $ t $ 时，SGF 的过失风险被岭回归在 $ \lambda = 1/t $ 时的过失风险所上界控制，且该上界显式依赖于步长、小批量大小和方差，表明 SGF 以极低的计算成本实现了类似岭回归的隐式正则化。

ABSTRACT

We study the implicit regularization of mini-batch stochastic gradient descent, when applied to the fundamental problem of least squares regression. We leverage a continuous-time stochastic differential equation having the same moments as stochastic gradient descent, which we call stochastic gradient flow. We give a bound on the excess risk of stochastic gradient flow at time $t$, over ridge regression with tuning parameter $λ= 1/t$. The bound may be computed from explicit constants (e.g., the mini-batch size, step size, number of iterations), revealing precisely how these quantities drive the excess risk. Numerical examples show the bound can be small, indicating a tight relationship between the two estimators. We give a similar result relating the coefficients of stochastic gradient flow and ridge. These results hold under no conditions on the data matrix $X$, and across the entire optimization path (not just at convergence).

研究动机与目标

• 理解小批量随机梯度下降（SGD）在最小二乘回归中的隐式正则化效应。
• 建立随机梯度流（SGF）风险与 $ \lambda = 1/t $ 时岭回归之间精确的时间依赖关系。
• 量化算法超参数——步长、小批量大小和时间——如何驱动 SGF 相对于岭回归的过失风险。
• 证明 SGF 在显著减少计算时间的前提下，实现了接近最优的统计性能，优于岭回归。
• 在不假设数据矩阵 $ X $ 的任何条件下，提供在整个优化路径上均有效的边界，而不仅限于收敛点。

提出的方法

• 通过称为随机梯度流（SGF）的连续时间随机微分方程对 SGD 建模，该模型匹配了小批量 SGD 的一阶和二阶矩。
• 推导出 SGF 的精确风险分解，表明其相对于 $ \lambda = 1/t $ 时岭回归的过失风险可分解为三项之和：岭回归的方差、小批量带来的方差以及由恒定步长引起的波动项。
• 利用数据矩阵 $ X $ 的谱分解及其奇异值，对 SGF 与岭回归系数之间的差异进行上界估计。
• 引入函数 $ f(x) = (1 - e^{-x})(1+x)/x $ 以分析系数距离，借助其单峰性和有界性，推导出统一的上界。
• 运用矩阵不等式和集中性论证，证明系数差异被上界控制为 $ (g(t) - 1) \| \hat{\beta}^{\text{ridge}}(1/t) \|_2 $，其中 $ g(t) $ 是一个与时间相关的因子。
• 通过在高斯分布、学生 t 分布和伯努利分布数据上进行的数值实验，验证了理论边界的准确性，覆盖了不同的 $ n, p, m $ 和 $ \epsilon $ 参数。

实验结果

研究问题

• RQ1 在时间 $ t $ 时，随机梯度流的过失风险与 $ \lambda = 1/t $ 时岭回归的过失风险相比如何？
• RQ2 过失风险对算法超参数（如步长、小批量大小和时间）的显式依赖关系是什么？
• RQ3 SGF 的隐式正则化是否能在整个优化路径上被紧密且可量化的边界所控制，而不仅限于收敛点？
• RQ4 当两者均在最优停止时间停止时，SGF 在风险和计算时间方面与岭回归相比表现如何？
• RQ5 SGF 与 $ \lambda = 1/t $ 时岭回归的系数路径之间存在何种关系？该边界的紧密程度如何？

主要发现

• 在时间 $ t $ 时，随机梯度流的过失风险被上界控制为 $ \lambda = 1/t $ 时岭回归的过失风险，且该上界可分解为三项可解释的成分：岭回归的方差、随机性带来的方差以及波动项。
• 该边界在实践中非常紧密——数值示例显示，过失风险仅为最优岭回归风险的 1.0032 倍，表明存在强烈的隐式正则化效应。
• SGF 与 $ \lambda = 1/t $ 时岭回归之间的系数差异被上界控制为 $ (g(t) - 1) \| \hat{\beta}^{\text{ridge}}(1/t) \| $，其中 $ g(t) \leq 1.2985 $，表明在所有 $ t $ 下两个估计量均非常接近。
• 风险边界的波动项在 $ t \to \infty $ 时趋于零，且在过参数化区域中为零，反映了其收敛至最小二乘解。
• 当两者均在最优时间停止时，SGF 以远低于岭回归的计算时间实现了接近最优的风险，展示了有利的计算-统计权衡。
• 结果在不假设数据矩阵 $ X $ 的任何条件下均成立，且在整个优化路径上有效，而不仅限于收敛点。