[论文解读] Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting

Frederic Koehler, Lijia Zhou+2 more|arXiv (Cornell University)|Jun 17, 2021

Sparse and Compressive Sensing Techniques参考文献 27被引用 8

一句话总结

该论文为高维线性回归中具有高斯特征的插值器建立了一个统一收敛框架，利用高斯宽度界定了泛化误差。证明了低范数插值器——包括最小ℓ₁-和ℓ₂-范数解——实现了良性过拟合，恢复了已知的一致性结果，并首次为该设定下的基追踪（ℓ₁-最小化）提供了首次一致性保证。

ABSTRACT

We consider interpolation learning in high-dimensional linear regression with Gaussian data, and prove a generic uniform convergence guarantee on the generalization error of interpolators in an arbitrary hypothesis class in terms of the class's Gaussian width. Applying the generic bound to Euclidean norm balls recovers the consistency result of Bartlett et al. (2020) for minimum-norm interpolators, and confirms a prediction of Zhou et al. (2020) for near-minimal-norm interpolators in the special case of Gaussian data. We demonstrate the generality of the bound by applying it to the simplex, obtaining a novel consistency result for minimum l1-norm interpolators (basis pursuit). Our results show how norm-based generalization bounds can explain and be used to analyze benign overfitting, at least in some settings.

研究动机与目标

• 为具有高斯特征的高维线性回归中的插值器提供一个通用的统一收敛分析。
• 表明基于范数的泛化界可以解释插值学习中的良性过拟合。
• 将现有最小范数插值器的一致性结果扩展到超出最小ℓ₂-范数情况的更广泛插值器类别。
• 首次为高维高斯线性回归中最小ℓ₁-范数插值器（基追踪）建立有限样本一致性结果。
• 证明在噪声、过参数化设定下，对零训练误差预测器的统一收敛可产生紧致的泛化界。

提出的方法

• 利用假设类的高斯宽度，推导出插值器泛化误差的通用有限样本高概率统一收敛界。
• 应用高斯极小极大定理，将泛化差距与假设类的高斯宽度和范数约束联系起来。
• 利用范数界和集中不等式，在高维渐近下控制最小ℓ₂-和ℓ₁-范数插值器的行为。
• 通过高斯宽度分析，建立设计矩阵的有效秩与插值器泛化性能之间的联系。
• 应用随机矩阵理论的结果，特别是独立同分布高斯随机变量最大值的期望界，以控制高维高斯分布的ℓ∞-范数。
• 将范数有界集上的统一收敛与插值约束相结合，推导出插值器总体风险的有限样本界。

实验结果

研究问题

• RQ1 统一收敛论据能否解释具有高斯特征的高维线性回归中的良性过拟合？
• RQ2 插值器的泛化性能是否主要取决于其范数，而非特定的优化路径？
• RQ3 在噪声、过参数化设定下，对零训练误差预测器的统一收敛能否产生紧致的泛化界？
• RQ4 最小ℓ₁-范数插值器（基追踪）在具有高斯设计和加性噪声的高维线性回归中是否一致？
• RQ5 假设类的高斯宽度与其插值解的泛化误差有何关系？

主要发现

• 该论文在假设类的高斯宽度基础上，为插值器建立了通用的统一收敛界，该界在有限样本下以高概率成立。
• 将该界应用于ℓ₂-范数球，恢复了在高斯设计下最小ℓ₂-范数插值器的一致性结果[66]。
• 该界在高斯数据的特殊情况下，确认了[73]中对近似最小范数插值器的猜想上界。
• 首次证明了在具有高斯特征和噪声的高维线性回归中，最小ℓ₁-范数插值器（基追踪）的有限样本一致性。
• 最小ℓ₁-范数插值器的泛化误差被一个因子(1+η)(σ² + ||w*||₂²)所界，其中η是依赖于样本大小、维度和稀疏性的微小误差项。
• 分析表明，设计矩阵的有效秩（通过高斯宽度捕捉）在决定插值器的泛化性能方面起着关键作用。