[论文解读] Overfitting Can Be Harmless for Basis Pursuit, But Only to a Degree

Peizhong Ju, Xiaojun Lin+1 more|arXiv (Cornell University)|Feb 2, 2020

Sparse and Compressive Sensing Techniques参考文献 39被引用 8

一句话总结

本文分析了基础追踪（Basis Pursuit, BP）方法——一种$β_1$-范数最小化方法——在$ p $（特征数）超过$ n $（样本数）的过参数化情形下的表现，表明通过BP实现的过拟合可能是无害的：泛化误差随着$ p $的增加而减小，直至$ p $在$ n $的指数尺度范围内。关键结果是一个非渐近的、高概率的模型误差上界，该上界随$ p $减小，揭示了一种与最小$\ell_2$-范数解不同的双下降（double-descent）行为。

ABSTRACT

Recently, there have been significant interests in studying the so-called "double-descent" of the generalization error of linear regression models under the overparameterized and overfitting regime, with the hope that such analysis may provide the first step towards understanding why overparameterized deep neural networks (DNN) still generalize well. However, to date most of these studies focused on the min $\ell_2$-norm solution that overfits the data. In contrast, in this paper we study the overfitting solution that minimizes the $\ell_1$-norm, which is known as Basis Pursuit (BP) in the compressed sensing literature. Under a sparse true linear regression model with $p$ i.i.d. Gaussian features, we show that for a large range of $p$ up to a limit that grows exponentially with the number of samples $n$, with high probability the model error of BP is upper bounded by a value that decreases with $p$. To the best of our knowledge, this is the first analytical result in the literature establishing the double-descent of overfitting BP for finite $n$ and $p$. Further, our results reveal significant differences between the double-descent of BP and min $\ell_2$-norm solutions. Specifically, the double-descent upper-bound of BP is independent of the signal strength, and for high SNR and sparse models the descent-floor of BP can be much lower and wider than that of min $\ell_2$-norm solutions.

研究动机与目标

• 分析基础追踪（BP）在$ p > n $的过拟合情形下，通过最小化$\ell_1$-范数实现的泛化性能。
• 为有限$ n $和$ p $的BP模型误差建立首个非渐近、高概率的上界。
• 比较BP与最小$\ell_2$-范数解的双下降行为，尤其关注信号强度依赖性与下降平台宽度的差异。
• 探究基于$\ell_1$-范数的过拟合解（具有稀疏性促进特性）是否能在实现完美训练拟合的前提下仍保持良好泛化能力，如同深度神经网络中的现象。
• 揭示BP表现出‘双下降’曲线且下降平台低而宽的条件，即使在高信噪比（SNR）和高稀疏性下亦成立。

提出的方法

• 采用具有$ p $个独立同分布高斯特征的稀疏线性回归模型，真实模型稀疏度为$ s $。
• 将基础追踪（BP）视为在精确拟合数据（插值）条件下最小化$\ell_1$-范数的解。
• 利用集中不等式与卡方尾部界，推导出$\min_i |\mathbf{A}_{i1}|$的高概率下界，该量与解的稳定性相关。
• 应用高斯尾部估计与对数近似，对随机向量中最大绝对值项的倒数进行上界估计。
• 推导出$\Pr\left(\frac{1}{\max_i |\mathbf{A}_{i1}|} \geq k\right)$的高概率下界，用于控制BP解的$\ell_1$-范数。
• 将这些概率界与设计矩阵的结构相结合，推导出BP模型误差的非渐近上界，该上界随$ p $减小。

实验结果

研究问题

• RQ1 在$ p > n $的过参数化情形下，基础追踪（BP）是否表现出双下降泛化误差行为？
• RQ2 BP的双下降曲线与最小$\ell_2$-范数解相比，在信号强度依赖性与下降平台宽度方面有何差异？
• RQ3 通过$\ell_1$-范数最小化实现的过拟合是否可能导致低泛化误差，即使训练拟合完美？
• RQ4 BP在多大范围内（相对于$ n $）能以高概率维持低模型误差？
• RQ5 BP的双下降行为是否与信号强度无关，尤其在高信噪比（SNR）下？

主要发现

• 在$ p $达到$\exp(\Theta(n))$的广泛范围内，BP的模型误差以高概率被一个随$ p $减小的值所上界控制。
• BP的双下降上界与信号强度无关，而最小$\ell_2$-范数解则依赖于信噪比（SNR）。
• 在高信噪比和稀疏模型下，BP的下降平台显著低于且宽于最小$\ell_2$-范数解的下降平台。
• 该分析建立了BP解$\ell_1$-范数的非渐近、高概率上界，且该上界随$ p $增加而衰减。
• 在条件$ p - s \leq e^{(n-1)/16}/n $下，解向量中最大绝对值项倒数超过阈值$ k $的概率下界为$ 1 - 3/n $。
• 所推导的界表明，即使$ p $随$ n $呈指数增长，BP仍能保持低误差，证实其在过拟合情形下对过参数化的鲁棒性。