[论文解读] Variance Breakdown of Huber (M)-estimators: $n/p ightarrow m \in (1,\infty)$

David L. Donoho, Andrea Montanari|arXiv (Cornell University)|Mar 6, 2015

Statistical Methods and Inference参考文献 8被引用 14

一句话总结

本文分析了在高维线性回归中 Huber M-估计量的极小极大渐近方差，其中样本量与参数个数之比 $ n/p \to m \to (1,\infty) $。研究发现当 $ m \cdot I(F_{\varepsilon}^*) \leq 1 $ 时方差会崩溃，临界崩溃点为 $ \varepsilon^* = \inf\{\varepsilon : m \cdot I(F_{\varepsilon}^*) \geq 1\} $，这与经典结果形成对比：在固定-$ p$、大-$n$ 的情形下，此类崩溃不会发生。

ABSTRACT

A half century ago, Huber evaluated the minimax asymptotic variance in scalar location estimation, $ \min_ψ\max_{F \in {\cal F}_ε} V(ψ, F) = \frac{1}{I(F_ε^*)} $, where $V(ψ,F)$ denotes the asymptotic variance of the $(M)$-estimator for location with score function $ψ$, and $I(F_ε^*)$ is the minimal Fisher information $ \min_{{\cal F}_ε} I(F)$ over the class of $ε$-Contaminated Normal distributions. We consider the linear regression model $Y = Xθ_0 + W$, $W_i\sim_{ ext{i.i.d.}}F$, and iid Normal predictors $X_{i,j}$, working in the high-dimensional-limit asymptotic where the number $n$ of observations and $p$ of variables both grow large, while $n/p ightarrow m \in (1,\infty)$; hence $m$ plays the role of `asymptotic number of observations per parameter estimated'. Let $V_m(ψ,F)$ denote the per-coordinate asymptotic variance of the $(M)$-estimator of regression in the $n/p ightarrow m$ regime. Then $V_m eq V$; however $V_m ightarrow V$ as $m ightarrow \infty$. In this paper we evaluate the minimax asymptotic variance of the Huber $(M)$-estimate. The statistician minimizes over the family $(ψ_λ)_{λ> 0}$ of all tunings of Huber $(M)$-estimates of regression, and Nature maximizes over gross-error contaminations $F \in {\cal F}_ε$. Suppose that $I(F_ε^*) \cdot m > 1$. Then $ \min_λ\max_{F \in {\cal F}_ε} V_m(ψ_λ, F) = \frac{1}{I(F_ε^*) - 1/m} $. Strikingly, if $I(F_ε^*) \cdot m \leq 1$, then the minimax asymptotic variance is $+\infty$. The breakdown point is where the Fisher information per parameter equals unity.

研究动机与目标

• 将 Huber 的经典极小极大鲁棒估计框架从标量位置问题推广至高维线性回归，在 $ n/p \to m \in (1,\infty) $ 的渐近框架下。
• 刻画在此高维渐近框架下 Huber M-估计量的极小极大渐近方差，同时考虑严重误差污染的影响。
• 识别 Huber 估计量方差变为无穷大的临界点，表明其在污染下的崩溃。
• 将高维情况下的崩溃行为与经典固定-$p$、大-$n$ 设置下的结果进行对比，后者不存在此类崩溃。

提出的方法

• 形式化定义高维渐近框架，其中 $ n $ 和 $ p $ 同时趋于无穷，且满足 $ n/p \to m \in (1,\infty) $，将设计矩阵建模为 i.i.d. 标准正态分布。
• 定义该框架下 Huber M-估计量的逐坐标渐近方差 $ V_m(\psi, F) $，以区别于经典情形下的 $ V(\psi, F) $。
• 分析博弈论框架下的极小极大问题：统计学家选择 Huber $ \psi $-函数的调参 $ \lambda $，而自然选择最坏情况下的污染分布 $ F \in \mathcal{F}_\varepsilon $。
• 推导出当 $ m \cdot I(F_\varepsilon^*) > 1 $ 时，极小极大方差为 $ \min_\lambda \max_{F \in \mathcal{F}_\varepsilon} V_m(\psi_\lambda, F) = \frac{1}{I(F_{\varepsilon}^*) - 1/m} $，否则为 $ \infty $。
• 利用隐函数定理及控制渐近方差的不动点方程的稳定性分析，证明最优 $ \lambda $ 的单调性与存在性。
• 建立临界污染水平 $ \varepsilon^* = \inf\{\varepsilon : m \cdot I(F_{\varepsilon}^*) \geq 1\} $，即崩溃发生的点。

实验结果

研究问题

• RQ1 在高维渐近框架 $ n/p \to m \in (1,\infty) $ 下，Huber M-估计量的极小极大渐近方差在严重误差污染下的行为如何？
• RQ2 在此框架下，Huber 估计量的方差是否会崩溃？若会，其条件是什么？
• RQ3 使极小极大方差变为无穷大的临界污染水平 $ \varepsilon^* $ 是什么？
• RQ4 Huber 估计量在高维下的崩溃行为与经典固定-$p$、大-$n$ 设置下的行为有何不同？
• RQ5 Fisher 信息 $ I(F_{\varepsilon}^*) $ 与比值 $ m $ 在决定 Huber M-估计量稳定性方面起什么作用？

主要发现

• 在 $ n/p \to m \in (1,\infty) $ 框架下，Huber M-估计量的极小极大渐近方差为 $ \frac{1}{I(F_{\varepsilon}^*) - 1/m} $，当 $ m \cdot I(F_{\varepsilon}^*) > 1 $ 时成立，该值严格大于经典情形下的极小极大方差。
• 当 $ m \cdot I(F_{\varepsilon}^*) \leq 1 $ 时，极小极大方差发散至无穷大，表明 Huber 估计量在污染下完全崩溃。
• 崩溃的临界污染水平为 $ \varepsilon^* = \inf\{\varepsilon : m \cdot I(F_{\varepsilon}^*) \geq 1\} $，其依赖于每个参数的渐近样本量 $ m $。
• 当每参数的 Fisher 信息等于单位值时，即 $ I(F_{\varepsilon}^*) = 1/m $，崩溃恰好发生，标志着估计量稳定性的相变点。
• 高维框架中方差崩溃是一种经典固定-$p$、大-$n$ 情形下所不存在的新现象，后者不会出现此类发散。
• 分析证明了 Huber 估计量的最优调参 $ \lambda^* $ 关于污染水平 $ \varepsilon $ 严格递增，且不动点方程中的最优 $ \kappa $-参数有界且稳定。