[论文解读] Outlier-robust estimation of a sparse linear model using $\ell_1$-penalized Huber's $M$-estimator

Arnak S. Dalalyan, Philip Thompson|arXiv (Cornell University)|Apr 12, 2019

Advanced Statistical Methods and Models参考文献 48被引用 4

一句话总结

本文提出了一种针对对抗性标签污染下鲁棒稀疏线性回归的 $μat$-惩罚Huber $M$-估计器。在非一致性与转移原理条件下，该凸优化方法实现了 $(s/n)^{1/2} + (o/n)$ 的极小极大最优估计速率，仅相差对数因子，证明了当仅标签被污染时，通过凸方法实现鲁棒、最优且计算上可行的估计是可能的。

ABSTRACT

We study the problem of estimating a $p$-dimensional $s$-sparse vector in a linear model with Gaussian design and additive noise. In the case where the labels are contaminated by at most $o$ adversarial outliers, we prove that the $\ell_1$-penalized Huber's $M$-estimator based on $n$ samples attains the optimal rate of convergence $(s/n)^{1/2} + (o/n)$, up to a logarithmic factor. For more general design matrices, our results highlight the importance of two properties: the transfer principle and the incoherence property. These properties with suitable constants are shown to yield the optimal rates, up to log-factors, of robust estimation with adversarial contamination.

研究动机与目标

• 确定在对抗性标签污染下，使用Huber损失和 $μat$-惩罚的凸惩罚经验风险最小化（PERM）是否能实现最优速率。
• 建立 $μat$-惩罚Huber估计器在响应变量存在对抗性异常值时仍能达到极小极大最优收敛速率的条件。
• 强调转移原理与非一致性性质在实现通过凸方法的最优鲁棒估计中的作用。
• 证明计算上可行的凸估计器可以实现最优速率，反驳了关于凸方法在鲁棒稀疏回归中表现悲观的既有结论。

提出的方法

• 将问题表述为对回归系数 $\boldsymbol{\beta}$ 和污染指示变量 $\boldsymbol{\theta}$ 的联合最小化，使用Huber损失函数。
• 采用带有损失函数 $\frac{1}{2n}\|\boldsymbol{Y} - \mathbf{X}\boldsymbol{\beta} - \sqrt{n}\boldsymbol{\theta}\|_2^2 + \lambda_s\|\boldsymbol{\beta}\|_1 + \lambda_o\|\boldsymbol{\theta}\|_1$ 的 $\ell_1$-惩罚经验风险最小化（PERM）框架。
• 通过高斯宽度和集中性论证建立理论保证，利用设计矩阵的非一致性与转移原理。
• 通过 $\ell_1$-球的高斯宽度界，推导出 $\|\mathbf{Z}^{(n)}\boldsymbol{v} + \boldsymbol{u}\|_2$ 的下界以控制估计误差。
• 应用 $\ell_1$-球与 $\ell_2$-球交集的高斯宽度的改进界，以减少最终速率中的对数因子。
• 证明在非一致性和转移条件成立时，估计器在对数因子范围内达到极小极大最优速率。

实验结果

研究问题

• RQ1 在对抗性标签污染下，使用Huber损失和 $\ell_1$-惩罚的凸惩罚经验风险最小化能否实现稀疏线性回归中的极小极大最优速率？
• RQ2 设计矩阵（如非一致性、转移原理）的何种结构条件足以确保通过凸方法实现最优鲁棒估计？
• RQ3 在存在对抗性异常值时，$\ell_1$-惩罚Huber估计器是否优于或至少匹配计算上不可行的估计器的性能？
• RQ4 在污染比例 $o/n$ 的温和假设下，估计速率中的对数因子能否被减少或消除？
• RQ5 在标签污染下，是否可以同时实现一致的支持恢复与最优估计，仅使用凸损失和惩罚函数？

主要发现

• 在对抗性标签污染下，$\ell_1$-惩罚Huber的 $M$-估计器在对数因子范围内实现了极小极大最优速率 $\sigma\left(\frac{s\log(p/s)}{n}\right)^{1/2} + \frac{\sigma o}{n}$。
• 设计矩阵 $\mathbf{X}$ 的非一致性性质，特别是当 $\boldsymbol{\Sigma}$ 的对角线元素有界且远离零时，可确保估计器的最优性。
• 转移原理与非一致性性质是针对一般设计矩阵，在对数因子范围内实现最优速率的充分条件。
• 即使 $p > n$，只要 $\boldsymbol{\beta}^*$ 是 $s$-稀疏且 $\boldsymbol{\theta}^*$ 是 $o$-稀疏，该估计器仍保持计算上的可行性并实现最优速率。
• 通过使用更紧致的高斯宽度界，当 $o/n$ 有正下界或衰减缓慢时，可在速率中消除对数项。
• 研究结果反驳了既往关于凸方法在对抗性污染下无法实现最优速率的悲观论断，表明此类方法既可实现最优性又具备计算效率。