[论文解读] The generalization error of max-margin linear classifiers: Benign overfitting and high dimensional asymptotics in the overparametrized regime

Andrea Montanari, Feng Ruan+2 more|arXiv (Cornell University)|Nov 5, 2019

Neural Networks and Applications参考文献 56被引用 90

一句话总结

本论文推导出高维情形下最大间隔线性分类器的泛化误差的精确渐近式，在过拟合参数化设定下识别良性过拟合的条件，并分析随机特征模型。

ABSTRACT

Modern machine learning classifiers often exhibit vanishing classification error on the training set. They achieve this by learning nonlinear representations of the inputs that maps the data into linearly separable classes. Motivated by these phenomena, we revisit high-dimensional maximum margin classification for linearly separable data. We consider a stylized setting in which data $(y_i,{\boldsymbol x}_i)$, $i\le n$ are i.i.d. with ${\boldsymbol x}_i\sim\mathsf{N}({\boldsymbol 0},{\boldsymbol Σ})$ a $p$-dimensional Gaussian feature vector, and $y_i \in\{+1,-1\}$ a label whose distribution depends on a linear combination of the covariates $\langle {\boldsymbol θ}_*,{\boldsymbol x}_i angle$. While the Gaussian model might appear extremely simplistic, universality arguments can be used to show that the results derived in this setting also apply to the output of certain nonlinear featurization maps. We consider the proportional asymptotics $n,p o\infty$ with $p/n o ψ$, and derive exact expressions for the limiting generalization error. We use this theory to derive two results of independent interest: $(i)$ Sufficient conditions on $({\boldsymbol Σ},{\boldsymbol θ}_*)$ for `benign overfitting' that parallel previously derived conditions in the case of linear regression; $(ii)$ An asymptotically exact expression for the generalization error when max-margin classification is used in conjunction with feature vectors produced by random one-layer neural networks.

研究动机与目标

• 研究在高维、过参数化 regime 下，训练误差趋于零时对最大间隔分类器的研究动机。
• 在高斯特征模型下，描述这些分类器在何时能够良好泛化（良性过拟合）。
• 给出对泛化误差和插值阈值的明确渐近公式。
• 将结果扩展到随机特征模型和宽神经网络/类网络的特征化。
• 给出协方差结构与信号对齐对泛化行为的控制条件。

提出的方法

• 假设独立同分布数据，特征 x_i ~ N(0, Σ)，标签 y_i 通过 f(⟨θ*, x_i⟩) 发布。
• 采用比例渐近，n, p → ∞ 且 p/n → ψ。
• 通过高斯等效模型与普适性论证推导最大间隔分类器的极限泛化误差 Err*(μ, ψ)。
• 表征正间隔成为可能的插值阈值 ψ*(μ)。
• 分析特征来自单个随机隐藏层输出的随机特征模型，并应用普适性得到精确渐近。
• 使用 Gordon 的高斯比较框架将问题简化为几乎可分的凸-凹形式，并提取非线性方程组。

实验结果

研究问题

• RQ1 在高维、过参数化设定且特征为高斯分布时，最大间隔线性分类器的极限泛化误差是多少？
• RQ2 对 Σ 与 θ* 的充要条件，何以产生最大间隔分类的良性过拟合？
• RQ3 插值阈值（正间隔所需的最小 p/n）如何依赖数据协方差与信号结构？
• RQ4 渐近结果是否可扩展至随机特征模型与宽度神经网络 regime？
• RQ5 高斯等效方法是否能在边界回归之外为间隔与误差给出精确预测？

主要发现

• 当 n → ∞ 时，间隔和预测误差收敛到非随机极限 κ*(μ, ψ) 与 Err*(μ, ψ)。
• 在 Σ 与 θ* 的谱与对齐条件下，出现良性过拟合，这与线性回归的已知结果相符。
• 在 Studied 的高维 regime 中，过参数化（较大 ψ）对最大间隔分类器达到接近 Bayes 误差是必要条件。
• 在随机特征模型中，随着宽度 p 增大，测试误差下降，在高度过参数化极限 p/n ≫ 1 时达到最小值。
• 分析提供了显式的偏差样项 B_n(λ) 与方差样项 V_n(λ)，用于指引超误差何时较小，并对合适参数选择给出 ε-一致性结果。