[论文解读] Out-of-sample error estimate for robust M-estimators with convex penalty

Pierre Bellec|arXiv (Cornell University)|Aug 26, 2020

Statistical Methods and Inference参考文献 40被引用 4

一句话总结

本文提出了一种适用于高维 M-估计器的通用、数据驱动的样本外误差估计方法，该方法采用凸惩罚项，适用于鲁棒损失函数（如 Huber 损失和最小二乘损失）。在温和的正则性和稀疏性条件下，该估计方法实现了 n⁻¹/² 的相对误差，从而可在不求解复杂非线性方程组或假设设计矩阵为各向同性的情况下，实现噪声方差和泛化误差的一致估计。

ABSTRACT

A generic out-of-sample error estimate is proposed for robust $M$-estimators regularized with a convex penalty in high-dimensional linear regression where $(X,y)$ is observed and $p,n$ are of the same order. If $ψ$ is the derivative of the robust data-fitting loss $ρ$, the estimate depends on the observed data only through the quantities $\hatψ= ψ(y-X\hatβ)$, $X^ op \hatψ$ and the derivatives $(\partial/\partial y) \hatψ$ and $(\partial/\partial y) X\hatβ$ for fixed $X$. The out-of-sample error estimate enjoys a relative error of order $n^{-1/2}$ in a linear model with Gaussian covariates and independent noise, either non-asymptotically when $p/n\le γ$ or asymptotically in the high-dimensional asymptotic regime $p/n oγ'\in(0,\infty)$. General differentiable loss functions $ρ$ are allowed provided that $ψ=ρ'$ is 1-Lipschitz. The validity of the out-of-sample error estimate holds either under a strong convexity assumption, or for the $\ell_1$-penalized Huber M-estimator if the number of corrupted observations and sparsity of the true $β$ are bounded from above by $s_*n$ for some small enough constant $s_*\in(0,1)$ independent of $n,p$. For the square loss and in the absence of corruption in the response, the results additionally yield $n^{-1/2}$-consistent estimates of the noise variance and of the generalization error. This generalizes, to arbitrary convex penalty, estimates that were previously known for the Lasso.

研究动机与目标

• 开发一种适用于高维线性回归中带有凸惩罚项的 M-估计器的通用、数据驱动的样本外误差估计方法。
• 确保该估计方法在损失函数和惩罚项方面具有最小假设条件，包括对重尾或污染响应的鲁棒性。
• 将噪声方差和泛化误差的一致估计方法从 Lasso 扩展到任意凸惩罚项和一般协方差结构。
• 避免依赖各向同性设计假设，允许使用一般协方差矩阵 Σ ≠ I。
• 提供非渐近保证，适用于 p/n ≤ γ 的情形，并在 p/n → γ′ ∈ (0, ∞) 时渐近成立。

提出的方法

• 仅利用残差导数 ψ(y − Xbβ)、量 Σ⁻¹ᐟ²Xᵀψ(y − Xbβ)，以及 bβ 和 ψ(y − Xbβ) 对 y 的导数，提出对样本外误差 ∥Σ¹ᐟ²(bβ − β)∥² 的数据驱动估计。
• 通过链式法则和优化问题的 KKT 条件，推导出该估计量对设计矩阵 X 的导数的显式表达式。
• 应用浓度不等式和随机矩阵理论，在高维渐近条件下控制估计误差的界。
• 采用扰动分析和高斯极小极大定理（GMT）框架，控制模型扰动下估计量的稳定性。
• 在强凸性或稀疏性假设下建立估计量的有效性，同时对污染程度和调参参数给出误差界。
• 对于 Huber Lasso，推导出涉及活跃集大小 |Ŝ| 和投影残差范数的估计量的闭式表达式。

实验结果

研究问题

• RQ1 能否在高维设定下，为带有凸惩罚项的 M-估计器构造一种通用、数据驱动的样本外误差估计？
• RQ2 所提出的估计方法是否在一般协方差结构和鲁棒损失函数下实现 n⁻¹/² 的相对误差？
• RQ3 在无响应污染的情况下，该估计方法能否一致估计噪声方差和泛化误差？
• RQ4 该方法在非各向同性设计矩阵下的表现如何？能否避免先前研究中常见的各向同性假设？
• RQ5 对于 Lasso 和 Huber Lasso，稀疏性和调参参数需满足何种条件，才能保证误差估计的有效性？

主要发现

• 所提出的样本外误差估计在具有高斯协变量和独立噪声的线性模型中，非渐近和渐近（当 p/n → γ′ ∈ (0, ∞) 时）均实现了 n⁻¹/² 的相对误差。
• 该估计对一般凸、可微、导数为 1-Lipschitz 的损失函数有效，包括最小二乘损失和 Huber 损失。
• 对于平方损失且在无响应污染的情况下，该方法可实现噪声方差和泛化误差的 n⁻¹/² 一致性估计。
• 与 AMP 或留一法相比，该方法无需求解非线性方程组或已知真实系数向量 β。
• 该估计在一般协方差矩阵 Σ ≠ I 下依然有效，从而消除了先前高维分析中常见的各向同性假设。
• 对于 Huber Lasso，该估计具有闭式表达，涉及活跃集大小 |Ŝ| 和投影残差的范数，并在稀疏性和调参条件满足时给出了明确的误差界。