[论文解读] Robust Estimation of High-Dimensional Mean Regression

Jianqing Fan, Quefeng Li+1 more|arXiv (Cornell University)|Oct 8, 2014

Statistical Methods and Inference参考文献 25被引用 18

一句话总结

本文提出 RA-Lasso，一种带有发散调优参数的惩罚 Huber 损失估计器，可在重尾误差下实现鲁棒的高维均值回归。通过调整 Huber 损失以减少偏差，并在仅存在二阶矩的条件下确保最优收敛速度，RA-Lasso 实现了与轻尾情形下相同的最优 $L_2$ 误差率，同时在均值估计中保持指数集中性。

ABSTRACT

Data subject to heavy-tailed errors are commonly encountered in various scientific fields, especially in the modern era with explosion of massive data. To address this problem, procedures based on quantile regression and Least Absolute Deviation (LAD) regression have been devel- oped in recent years. These methods essentially estimate the conditional median (or quantile) function. They can be very different from the conditional mean functions when distributions are asymmetric and heteroscedastic. How can we efficiently estimate the mean regression functions in ultra-high dimensional setting with existence of only the second moment? To solve this problem, we propose a penalized Huber loss with diverging parameter to reduce biases created by the traditional Huber loss. Such a penalized robust approximate quadratic (RA-quadratic) loss will be called RA-Lasso. In the ultra-high dimensional setting, where the dimensionality can grow exponentially with the sample size, our results reveal that the RA-lasso estimator produces a consistent estimator at the same rate as the optimal rate under the light-tail situation. We further study the computational convergence of RA-Lasso and show that the composite gradient descent algorithm indeed produces a solution that admits the same optimal rate after sufficient iterations. As a byproduct, we also establish the concentration inequality for estimat- ing population mean when there exists only the second moment. We compare RA-Lasso with other regularized robust estimators based on quantile regression and LAD regression. Extensive simulation studies demonstrate the satisfactory finite-sample performance of RA-Lasso.

研究动机与目标

• 解决误差分布仅具有有限二阶矩而非轻尾时的高维均值回归估计挑战。
• 通过允许调优参数发散，克服传统 Huber 损失在均值回归中引入的偏差。
• 开发一种鲁棒的正则化方法，用于估计条件均值函数而非中位数/分位数函数，这对于误差分布不对称或异方差时至关重要。
• 在维度随样本量指数增长的超高维设定下，建立估计器的理论最优性。
• 在仅存在第二阶矩的条件下，为均值估计建立浓度不等式，将 Catoni 的工作扩展至稀疏线性模型。

提出的方法

• 提出一种惩罚鲁棒近似二次（RA-quadratic）损失，称为 RA-Lasso，采用带有发散参数的 $L_1$-惩罚 Huber 损失以减少偏差。
• 使用发散的 Huber 调优参数 $\alpha$，使得 $\alpha \to \infty$ 当 $n \to \infty$，以确保均值估计中的偏差减少。
• 应用复合梯度下降算法求解 RA-Lasso 优化问题，并证明在足够迭代次数后收敛至最优速率。
• 利用 Huber 损失导数的二阶泰勒展开来界定估计误差并推导集中性质。
• 为 RA-Lasso 损失建立限制强凸性（RSC）条件，实现在稀疏性下的高维一致性。
• 将 Catoni 的鲁棒 M-估计框架扩展至高维稀疏线性模型，在仅存在第二阶矩假设下实现指数型集中性。

实验结果

研究问题

• RQ1 当误差仅具有有限二阶矩时，我们能否在高维均值回归中实现最优的 $L_2$ 估计误差率？
• RQ2 我们如何在保持对重尾误差鲁棒性的同时，减少传统 Huber 损失在均值回归中的偏差？
• RQ3 RA-Lasso 估计器是否在误差分布为重尾时，仍能达到与轻尾情形下相同的最优速率？
• RQ4 我们能否在仅存在第二阶矩的条件下，为均值估计器建立浓度不等式，从而实现在高维下的鲁棒推断？
• RQ5 RA-Lasso 估计器在有限样本性能上与现有鲁棒方法（如 LAD 和基于分位数回归的估计器）相比如何？

主要发现

• 在超高维设定下，RA-Lasso 估计器实现了最优的 $L_2$ 误差率 $O(\sqrt{R_q (\log p)/n})$，与轻尾情形下的最优速率一致。
• 当误差对称于零时，RA-Lasso 估计器的速率与 $L_1$-惩罚 LAD 估计器相同，确保在此特殊情形下无效率损失。
• 在 RSC 条件下，估计误差 $\|\widehat{\boldsymbol{\beta}} - \boldsymbol{\beta}^*\|_2$ 以速率 $O(\sqrt{R_q (\log p)/n})$ 收敛，其中 $R_q$ 控制稀疏性。
• 当存在三阶矩时，Huber 损失的偏差可减少至 $O(\alpha^2)$；当仅存在二阶矩时，偏差减少至 $O(\alpha)$，从而实现一致的均值估计。
• 即使在仅存在第二阶矩的条件下，RA-Lasso 估计器对总体均值仍表现出指数型集中性，将 Catoni 的结果扩展至高维回归。
• 复合梯度下降算法在足够迭代次数后收敛至具有相同最优速率的解，确保了计算上的可行性。