[论文解读] Towards an Understanding of Benign Overfitting in Neural Networks

Li Zhu, Zhi‐Hua Zhou+1 more|arXiv (Cornell University)|Jun 6, 2021

Neural Networks and Applications参考文献 43被引用 9

一句话总结

本文在高维设置下对带有噪声协变量的两层ReLU神经网络中的良性过拟合进行了有限样本分析。在数据维度、谱衰减和噪声的温和条件下，该研究证明插值估计器（MNLS）可实现近最优学习率 $ O\left(\sqrt{\log n/n}\right) $，并预测当参数数量超过 $ O(n^2) $ 时风险将上升，与经验观察到的双 descent 行为一致。

ABSTRACT

Modern machine learning models often employ a huge number of parameters and are typically optimized to have zero training loss; yet surprisingly, they possess near-optimal prediction performance, contradicting classical learning theory. We examine how these benign overfitting phenomena occur in a two-layer neural network setting where sample covariates are corrupted with noise. We address the high dimensional regime, where the data dimension $d$ grows with the number $n$ of data points. Our analysis combines an upper bound on the bias with matching upper and lower bounds on the variance of the interpolator (an estimator that interpolates the data). These results indicate that the excess learning risk of the interpolator decays under mild conditions. We further show that it is possible for the two-layer ReLU network interpolator to achieve a near minimax-optimal learning rate, which to our knowledge is the first generalization result for such networks. Finally, our theory predicts that the excess learning risk starts to increase once the number of parameters $s$ grows beyond $O(n^2)$, matching recent empirical findings.

研究动机与目标

• 理解在协变量噪声存在下过参数化两层ReLU神经网络的泛化特性。
• 推导在 $ d = O(n^\alpha) $，$ \alpha \in (0,1) $ 的高维设置下，插值估计器（MNLS）的有限样本过失风险界。
• 刻画良性过拟合发生的条件，特别是数据维度、协方差谱衰减与噪声水平之间的相互作用。
• 证明插值器可实现近最优学习率，并识别出风险在超过 $ O(n^2) $ 参数后开始上升的区间。

提出的方法

• 分析具有固定第一层权重的两层ReLU神经网络，使用最小范数最小二乘（MNLS）估计器对噪声训练数据进行插值。
• 推导插值器偏差的上界，以及方差的匹配上界和下界，以刻画过失学习风险。
• 假设数据和协变量噪声为次高斯分布，并利用集中不等式控制高维情形下的尾部行为。
• 引入三个关键参数：$ \alpha $（维度增长速率）、$ \gamma $（协方差谱衰减率）和 $ \zeta $（噪声衰减率），以量化影响泛化的相互作用。
• 通过有限样本风险分析表明，当 $ \gamma > \zeta $ 且 $ \alpha \leq 1/2 $，或在适当的谱和噪声条件下，过失风险会衰减。
• 证明在适当的过参数化条件下，MNLS估计器的学习率可逼近 $ O\left(\sqrt{\log n/n}\right) $，接近理论上的最小最大率 $ O(n^{-1/2}) $。

实验结果

研究问题

• RQ1 在高维设置下，带有噪声协变量的两层ReLU网络中，良性过拟合在何种条件下发生？
• RQ2 两层ReLU网络中的插值估计器能否实现近最优学习率？
• RQ3 参数数量 $ s $ 如何影响泛化风险，风险在何时开始上升？
• RQ4 数据维度 $ d $、谱衰减 $ \gamma $ 和协变量噪声 $ \xi $ 之间的相互作用在决定过失风险中起什么作用？

主要发现

• 在温和条件下，MNLS估计器的过失学习风险趋于零，特别是当谱衰减率 $ \gamma $ 超过噪声衰减率 $ \zeta $，且 $ \alpha \leq 1/2 $ 时。
• 当 $ \alpha = 0.5 $，$ \gamma > \zeta = 2 $，且 $ s = O(n^{1.25}) $ 时，过失风险以 $ O(n^{-0.25}) $ 的速率收敛。
• 在适当的过参数化条件下，MNLS估计器可实现近最优学习率 $ O\left(\sqrt{\log n/n}\right) $，接近理论最小最大率 $ O(n^{-1/2}) $。
• 当参数数量 $ s $ 超过 $ O(n^2) $ 后，过失风险开始上升，证实了过参数化ReLU网络中的双 descent 行为。
• 引入协变量噪声可起到隐式正则化作用，改善泛化性能，与在噪声数据中观察到的良性过拟合经验现象一致。
• 有限样本风险界表明，即使在 $ d = O(n^\alpha) $，$ \alpha \in (0,1) $ 的高维设置下，只要满足谱衰减和噪声衰减条件，良性过拟合仍可能发生。