[论文解读] The Implicit Bias of Benign Overfitting

Ohad Shamir|arXiv (Cornell University)|Jan 27, 2022

Machine Learning and Algorithms被引用 4

一句话总结

本文研究了线性模型中标准训练方法的隐式偏差，表明在非良好设定的线性回归中，良性过拟合——即完美拟合训练数据且泛化误差较低——通常会因最小范数插值预测器的不一致而失败。相比之下，在分类任务中，最大边界预测器会隐式地偏向最小化加权平方合页损失，从而在具有任意标签噪声（最高达1/2）的线性可分设置中实现良性过拟合。

ABSTRACT

The phenomenon of benign overfitting, where a predictor perfectly fits noisy training data while attaining near-optimal expected loss, has received much attention in recent years, but still remains not fully understood beyond well-specified linear regression setups. In this paper, we provide several new results on when one can or cannot expect benign overfitting to occur, for both regression and classification tasks. We consider a prototypical and rather generic data model for benign overfitting of linear predictors, where an arbitrary input distribution of some fixed dimension $k$ is concatenated with a high-dimensional distribution. For linear regression which is not necessarily well-specified, we show that the minimum-norm interpolating predictor (that standard training methods converge to) is biased towards an inconsistent solution in general, hence benign overfitting will generally not occur. Moreover, we show how this can be extended beyond standard linear regression, by an argument proving how the existence of benign overfitting on some regression problems precludes its existence on other regression problems. We then turn to classification problems, and show that the situation there is much more favorable. Specifically, we prove that the max-margin predictor (to which standard training methods are known to converge in direction) is asymptotically biased towards minimizing a weighted \emph{squared hinge loss}. This allows us to reduce the question of benign overfitting in classification to the simpler question of whether this loss is a good surrogate for the misclassification error, and use it to show benign overfitting in some new settings.

研究动机与目标

• 理解良性过拟合在良好设定回归之外的线性模型中何时发生。
• 研究标准训练方法（最小范数与最大边界预测器）在高维设置下的隐式偏差。
• 刻画在存在显著标签噪声的情况下，良性过拟合在分类任务中可能发生的条件。
• 将对良性过拟合的理论理解从平方损失回归扩展到分类和非良好设定模型。

提出的方法

• 提出一个典型的数据模型：将k维输入分布与一个高维、近似正交的分布连接。
• 分析当维度d与样本量m趋于无穷且d ≫ m时，线性回归中最小范数插值预测器的渐近行为。
• 推导最小范数预测器的渐近形式，表明其仅在数据良好设定时收敛到无偏解。
• 对于分类任务，证明最大边界预测器在数据分布下渐近最小化加权平方合页损失。
• 利用最小化该损失与实现低误分类误差之间的等价性，建立在线性可分设置中实现良性过拟合的结论。
• 应用扰动分析表明，高维噪声分量的影响会衰减，从而在较弱条件下实现一致估计。

实验结果

研究问题

• RQ1 在非良好设定的线性回归中，良性过拟合在何种条件下会失败？
• RQ2 最小范数插值预测器的隐式偏差如何影响高维回归中的泛化性能？
• RQ3 即使存在任意标签噪声，良性过拟合是否仍可能在分类任务中发生？在何种分布假设下？
• RQ4 在高维、线性可分设置中，最大边界预测器的隐式偏差是什么？
• RQ5 输入分布的结构——特别是低维分量与高维i.i.d.分量——如何影响良性过拟合的可行性？

主要发现

• 在非良好设定的线性回归中，最小范数插值预测器在渐近意义上是有偏的且不一致的，因此无法实现良性过拟合。
• 最小范数预测器收敛到一个依赖于高维分量期望外积的逆矩阵的解，而非真实的最小二乘解。
• 如果在某一问题上存在结构约束导致预测器偏差，那么良性过拟合在回归中将被排除。
• 在分类任务中，最大边界预测器在数据分布下隐式地偏向最小化加权平方合页损失。
• 当数据分布线性可分且在特定方向上满足对称性和独立性条件时，无论标签噪声水平如何（最高达1/2），分类任务中均可实现良性过拟合。
• 在维度d远快于样本量m增长的渐近条件下，结果成立，确保高维噪声分量的影响会衰减。