[论文解读] Robust Regression via Mutivariate Regression Depth

Chao Gao|arXiv (Cornell University)|Feb 15, 2017

Advanced Statistical Methods and Models参考文献 33被引用 9

一句话总结

该论文提出了一种基于多元回归深度的鲁棒回归框架，以处理Huber的$\epsilon$-污染模型。通过最大化经验深度函数，该方法在多种设置下实现了极小极大最优误差率，包括非参数、稀疏、低秩和多元回归，即使在对抗性污染下也表现稳健。

ABSTRACT

This paper studies robust regression in the settings of Huber's $ε$-contamination models. We consider estimators that are maximizers of multivariate regression depth functions. These estimators are shown to achieve minimax rates in the settings of $ε$-contamination models for various regression problems including nonparametric regression, sparse linear regression, reduced rank regression, etc. We also discuss a general notion of depth function for linear operators that has potential applications in robust functional linear regression.

研究动机与目标

• 解决在$\epsilon$-污染条件下，最多$\epsilon$比例的数据点被任意破坏的鲁棒回归挑战。
• 开发一种统一的估计程序，确保在非参数、稀疏、低秩和多元回归等多种回归模型下，污染条件下的统计最优性。
• 在$\epsilon$-污染模型下，建立基于深度的估计器在高维和非参数设置中的极小极大最优性。
• 引入线性算子的一般深度概念，为鲁棒函数线性回归的潜在扩展提供支持。

提出的方法

• 定义多元回归深度为$\mathcal{D}_{\mathcal{U}}(B,\mathbb{P}) = \inf_{U\in\mathcal{U}} \mathbb{P}\left\{\langle U^T X, Y - B^T X \rangle \geq 0\right\}$，其中$\mathcal{U}$为非零矩阵的集合。
• 通过最大化经验深度函数来估计回归参数$B$：$\widehat{B} = \mathop{\rm argmax}_{B\in\mathcal{B}} \mathcal{D}_{\mathcal{U}}(B, \mathbb{P}_n)$。
• 将基于深度的估计器应用于七类不同的回归问题：非参数回归、稀疏线性回归、高斯图形模型、低秩迹回归、多元回归、组稀疏回归和降秩回归。
• 利用曲率和集中性论证推导估计误差的界，依赖于深度函数对污染的鲁棒性。
• 利用深度最大化与极小极大风险之间的关系，表明基于深度的估计器在干净模型性能与污染引起的误差之间实现了最优权衡。
• 建立线性算子的一般深度框架，将该方法扩展至函数型和算子值回归设置。

实验结果

研究问题

• RQ1 是否存在一种单一的鲁棒估计程序，能够在$\epsilon$-污染模型下，对多种回归模型实现极小极大最优速率？
• RQ2 当最多$\epsilon$的数据被对抗性破坏时，多元回归深度函数如何实现鲁棒估计？
• RQ3 在高维和非参数设置下，存在污染时，基于深度的估计器的统计性能如何？
• RQ4 该深度框架能否推广至线性算子，从而实现鲁棒函数线性回归？
• RQ5 在污染条件下，基于深度的估计器与现有方法相比，在极小极大最优性方面表现如何？

主要发现

• 在非参数回归中，基于深度的估计器在$\epsilon$-污染模型下实现了极小极大最优误差率，误差界为$C\left(\frac{s\log(ep/s)}{n} \vee \epsilon^2 + \frac{\log(1/\delta)}{n}\right)$。
• 在稀疏线性回归中，估计器以高概率满足$\ell_1$-误差界$\|\widehat{\beta} - \beta\|_1^2 \leq C\left(\frac{s^2\log(ep/s)}{n} \vee s\epsilon^2 + \frac{s\log(1/\delta)}{n}\right)$。
• 在高斯图形模型中，精度矩阵估计器$\widehat{\Omega}$以高概率满足$\|\widehat{\Omega} - \Omega\|_{\ell_1}^2 \leq C_4\left(\frac{s^2\log(ep/s)}{n} \vee s\epsilon^2 + \frac{s\log(1/\delta)}{n}\right)$。
• 该方法在多元回归和降秩回归设置中实现了极小极大最优性，联合估计多个响应变量在污染条件下至关重要。
• 基于深度的方法对任意污染分布$Q$具有鲁棒性，即使$Q$未知且为对抗性时，估计器仍保持一致性。
• 提出了线性算子的一般深度框架，具有在鲁棒函数线性回归中应用的潜力，扩展了基于深度方法的适用范围。