[论文解读] On the robustness of minimum-norm interpolators

Geoffrey Chinot, Matthias Löffler+1 more|arXiv (Cornell University)|Dec 1, 2020

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文为在任意、可能具有对抗性的误差下线性模型中的最小范数插值器建立了一般理论，表明预测误差受协变量的Rademacher复杂度、误差的最小范数插值器的范数以及次微分几何的限制。研究证明，当过参数化程度至少为样本量的对数级别时，稀疏或低秩模型的预测误差可达到平均噪声水平的量级。

ABSTRACT

This article develops a general theory for minimum-norm interpolated estimators in linear models in the presence of additive, potentially adversarial, errors. In particular, no conditions on the errors are imposed. A quantitative bound for the prediction error is given, relating it to the Rademacher complexity of the covariates, the norm of the minimum norm interpolator of the errors and the shape of the subdifferential around the true parameter. The general theory is illustrated with several examples: the sparse linear model with minimum $\ell_1$-norm or group Lasso penalty interpolation, the low rank trace regression model with nuclear norm minimization, and minimum Euclidean norm interpolation in the linear model. In case of sparsity or low-rank inducing norms, minimum norm interpolation yields a prediction error of the order of the average noise level, provided that the overparameterization is at least a logarithmic factor larger than the number of samples. Lower bounds that show near optimality of the results complement the analysis.

研究动机与目标

• 为具有任意加法误差的线性模型中的最小范数插值估计量开发一个通用的理论框架。
• 在不施加误差项分布假设的前提下，分析预测误差的界。
• 刻画过参数化、协变量结构以及次微分几何在决定估计精度中的作用。
• 在最小假设下，证明最小范数插值在稀疏和低秩设置下的近似最优性。

提出的方法

• 利用Rademacher复杂度量化协变量结构对预测误差的影响。
• 推导出依赖于误差的最小范数插值器的范数以及真实参数周围次微分形状的预测误差界。
• 该方法适用于一般范数，包括ℓ₁、组Lasso和核范数，从而支持对稀疏性和低秩恢复的分析。
• 利用对偶性和次梯度几何特性，刻画高维设置下最小范数估计量的行为。
• 将该框架应用于三种典型模型：ℓ₁-范数插值的稀疏线性模型、组Lasso和核范数最小化的低秩追踪回归。
• 推导出下界，以证明在给定假设下所获误差率的近似最优性。

实验结果

研究问题

• RQ1 在无分布假设的前提下，最小范数插值器在任意、可能具有对抗性的误差下的预测误差行为如何？
• RQ2 过参数化在控制稀疏或低秩模型的预测误差方面起什么作用？
• RQ3 次微分的几何结构和协变量的Rademacher复杂度如何影响估计精度？
• RQ4 在高维设置下，最小范数插值能否实现与平均噪声水平同阶的预测误差？
• RQ5 所推导的误差界是否近似最优，此类估计量的根本极限是什么？

主要发现

• 预测误差受一个与协变量的Rademacher复杂度成正比的项、误差的最小范数插值器的范数以及真实参数附近次微分局部几何结构的限制。
• 在ℓ₁-范数插值的稀疏线性模型中，当过参数化程度超过样本量的对数因子时，预测误差达到平均噪声水平的量级。
• 在核范数最小化的低秩追踪回归中，当满足类似的过参数化条件时，可达到相同的误差率。
• 该分析提供了下界，证实了在所考虑设置下所获误差率的近似最优性。
• 结果在误差无任何矩或分布假设下依然成立，使该框架对对抗性污染具有鲁棒性。