[论文解读] Robust Covariance and Scatter Matrix Estimation under Huber's Contamination Model

Mengjie Chen, Chao Gao+1 more|arXiv (Cornell University)|Jun 1, 2015

Advanced Statistical Methods and Models参考文献 63被引用 16

一句话总结

该论文提出了一种基于新颖矩阵深度函数的鲁棒协方差矩阵估计器，通过最大化经验深度以确保在Huber的ε-污染模型下对异常值具有抗性。该估计器在高维设置下对结构化协方差矩阵（如带状、稀疏和低秩）实现了极小极大最优率，兼具统计效率与高 breakdown point。

ABSTRACT

Covariance matrix estimation is one of the most important problems in statistics. To accommodate the complexity of modern datasets, it is desired to have estimation procedures that not only can incorporate the structural assumptions of covariance matrices, but are also robust to outliers from arbitrary sources. In this paper, we define a new concept called matrix depth and then propose a robust covariance matrix estimator by maximizing the empirical depth function. The proposed estimator is shown to achieve minimax optimal rate under Huber's $ε$-contamination model for estimating covariance/scatter matrices with various structures including bandedness and sparsity.

研究动机与目标

• 解决在存在异常值的高维设置下经典协方差估计器缺乏鲁棒性的问题。
• 构建一个在保持统计效率的同时对任意异常值具有抗性的框架。
• 引入矩阵深度作为Tukey深度在多变量情形下的推广，用于协方差估计。
• 在ε-污染模型下，建立所提估计器对结构化协方差矩阵的极小极大最优性。
• 统一不同结构下的极小极大率表达式，揭示其对经典误差与污染引起的误差分量的依赖关系。

提出的方法

• 将正定矩阵Γ的矩阵深度定义为：对所有单位向量u，取P(|uᵀX|² ≤ uᵀΓu)与P(|uᵀX|² ≥ uᵀΓu)的最小值的下确界，以捕捉对方向性偏离的鲁棒性。
• 通过在正定矩阵空间上最大化经验矩阵深度函数，提出一种鲁棒估计器。
• 利用所得估计器Γ̂构造Σ̂ = Γ̂ / β，其中β为确保在正态模型下一致性的缩放常数。
• 通过偏差-方差权衡建立理论保证，借助浓度不等式与算子范数界。
• 通过将单位球限制在相关子空间或稀疏模式上，将深度框架适配至结构化模型（带状、稀疏、低秩）。
• 应用Weyl不等式与Davis-Kahan定理，推导低秩结构下的谱误差与子空间误差界。

实验结果

研究问题

• RQ1 基于深度的估计器是否能在Huber的ε-污染模型下实现高维协方差估计的极小极大最优性？
• RQ2 所提出的矩阵深度函数在鲁棒性与效率方面相较于经典估计器表现如何？
• RQ3 在ε-污染下，结构化协方差矩阵（如带状、稀疏）的极小极大率是什么？能否在不同模型间实现统一？
• RQ4 矩阵深度框架能否在不牺牲鲁棒性的前提下，适配稀疏性或带状性等结构约束？
• RQ5 该估计器是否在保持最优收敛速率的同时，维持高breakdown point？

主要发现

• 所提出的基于矩阵深度的估计器在ε-污染模型下，对带状及可带状协方差矩阵实现了极小极大最优率。
• 对于稀疏协方差矩阵，估计器实现了阶为(s log(ep/s))/n ∨ ε²的极小极大率，其中s为稀疏度水平。
• 该估计器对低秩协方差矩阵保持极小极大最优性，误差界按(s log(ep/s))/n ∨ ε²的量级增长。
• 在ε-污染下的极小极大率可统一表示为M(ε) ≍ max{M(0), ω(ε, F)}，其中M(0)为经典极小极大率，ω(ε, F)捕捉污染引起的误差。
• 由于基于深度的构造，估计器具有高breakdown point，确保对任意异常值的抗性。
• 理论分析表明，估计器的算子范数误差被有界于C(ε + √((k + log m)/n) + ||Σₖ − Σ||_op)，其中k = ⌈n^(1/(2α+1))⌉ ∧ p，适用于带状模型。