[论文解读] On the Double Descent of Random Features Models Trained with SGD

Fanghui Liu, Johan A. K. Suykens+1 more|arXiv (Cornell University)|Oct 13, 2021

Stochastic Gradient Optimization Techniques参考文献 59被引用 4

一句话总结

本文对使用随机梯度下降（SGD）训练的随机特征（RF）回归提供了非渐近理论分析，表明即使在SGD优化下，RF模型仍表现出双下降泛化行为。研究证明，偏差随过参数化比率 $ m/n $ 单调递减，而方差呈单峰分布，并且证明了常步长SGD的收敛速率与精确的最小范数解相同。

ABSTRACT

We study generalization properties of random features (RF) regression in high dimensions optimized by stochastic gradient descent (SGD) in under-/over-parameterized regime. In this work, we derive precise non-asymptotic error bounds of RF regression under both constant and polynomial-decay step-size SGD setting, and observe the double descent phenomenon both theoretically and empirically. Our analysis shows how to cope with multiple randomness sources of initialization, label noise, and data sampling (as well as stochastic gradients) with no closed-form solution, and also goes beyond the commonly-used Gaussian/spherical data assumption. Our theoretical results demonstrate that, with SGD training, RF regression still generalizes well for interpolation learning, and is able to characterize the double descent behavior by the unimodality of variance and monotonic decrease of bias. Besides, we also prove that the constant step-size SGD setting incurs no loss in convergence rate when compared to the exact minimum-norm interpolator, as a theoretical justification of using SGD in practice.

研究动机与目标

• 理解在高维、欠参数化与过参数化情形下，使用SGD训练的随机特征模型中的泛化行为。
• 弥合理论闭式解（如最小范数插值器）与RF模型中实际SGD优化之间的差距。
• 在不依赖高斯或球面对称数据假设的前提下，分析初始化、标签噪声、数据采样和随机梯度等多重随机源的影响。
• 在子高斯数据和一般激活函数下，为常步长和多项式衰减步长SGD设置提供非渐近误差界。
• 验证SGD训练在插值学习中是否保持泛化性能，并捕捉双下降现象。

提出的方法

• 通过在随机逼近中引入偏差-方差分解，推导出非渐近误差界，同时考虑多重随机源的影响。
• 分析随机特征协方差矩阵 $ \Sigma_m $ 及其期望 $ \widetilde{\Sigma}_m $ 的谱性质，表明 $ \mathrm{Tr}(\Sigma_m) $ 为次指数分布，且 $ \widetilde{\Sigma}_m $ 仅有两个不同特征值，分别为 $ \mathcal{O}(1) $ 和 $ \mathcal{O}(1/m) $ 阶。
• 提出一种框架，用于解耦SGD更新过程中初始化、标签噪声、数据采样和随机梯度的影响。
• 证明泛化误差的方差分量呈单峰分布，而偏差随 $ m/n $ 单调递减，从而解释双下降行为。
• 证明常步长SGD在收敛速率上不损失于精确的最小范数解，从而为实际应用提供理论支持。
• 采用平均SGD方法，并在合成数据和MNIST数据集上与最小范数解进行比较，以验证理论发现。

实验结果

研究问题

• RQ1 SGD训练在随机特征模型中，对欠参数化与过参数化情形下的泛化误差有何影响？
• RQ2 在SGD训练的RF回归中，双下降现象是否可被理论刻画，而不仅限于闭式最小二乘解？
• RQ3 初始化、标签噪声、数据采样和随机梯度等多重随机源在塑造泛化误差的偏差与方差方面起什么作用？
• RQ4 常步长SGD在RF回归中是否能达到与精确最小范数插值器相同的收敛速率？
• RQ5 在SGD优化下，偏差与方差分量作为过参数化比率 $ m/n $ 的函数如何变化？

主要发现

• 泛化误差的方差随 $ m/n $ 呈单峰分布，在插值阈值 $ m \approx n $ 附近达到峰值，这解释了双下降行为。
• 偏差分量随 $ m/n $ 增加而单调递减，表明近似精度持续提升。
• 对于常步长和多项式衰减步长，误差界均为非渐近形式，且在子高斯数据和一般Lipschitz激活函数下成立。
• 随机特征协方差矩阵 $ \Sigma_m $ 的迹为次指数随机变量，其范数为 $ \mathcal{O}(1) $，其期望 $ \widetilde{\Sigma}_m $ 仅有两个不同特征值，分别为 $ \mathcal{O}(1) $ 和 $ \mathcal{O}(1/m) $ 阶。
• 常步长SGD在过剩风险上的收敛速率与精确最小范数解相同，验证了其在实际中的适用性。
• 在合成数据和MNIST数据集上的实验结果验证了理论趋势：归一化MSE中存在双下降现象，偏差单调递减，且在不同步长下方差呈单峰分布。