[论文解读] Robust Covariance Matrix Estimation via Matrix Depth

Mengjie Chen, Chao Gao+1 more|arXiv (Cornell University)|Jun 1, 2015

Advanced Statistical Methods and Models参考文献 42被引用 7

一句话总结

本文引入矩阵深度作为协方差矩阵估计的稳健度量，提出一种新估计器，通过最大化经验深度以在Huber的$ε$-污染模型下实现极小极大最优速率。该方法有效处理结构化协方差矩阵——如带状矩阵和稀疏矩阵——同时对任意异常值保持鲁棒性。

ABSTRACT

Covariance matrix estimation is one of the most important problems in statistics. To accommodate the complexity of modern datasets, it is desired to have estimation procedures that not only can incorporate the structural assumptions of covariance matrices, but are also robust to outliers from arbitrary sources. In this paper, we define a new concept called matrix depth and we propose a robust covariance matrix estimator by maximizing the empirical depth function. The proposed estimator is shown to achieve minimax optimal rate under Huber's $\epsilon$-contamination model for estimating covariance/scatter matrices with various structures including bandedness and sparsity.

研究动机与目标

• 开发一种在任意异常值存在下仍能保持准确性的稳健协方差矩阵估计器。
• 将结构化假设（如稀疏性、带状性）整合到稳健估计中。
• 在Huber的$ε$-污染模型下，建立所提估计器的极小极大最优性。
• 定义一种新的统计概念——矩阵深度——用于多元散射矩阵估计。
• 提供一种基于深度的框架，将稳健性推广至传统方法之外。

提出的方法

• 本文将矩阵深度定义为多元散射矩阵的中心性度量，将单变量深度概念扩展至矩阵形式。
• 通过在正定矩阵空间上最大化经验深度函数，提出一种稳健协方差估计器。
• 该估计器被构造为仿射变换不变，确保对位置和尺度变化的稳健性。
• 通过将优化域限制在结构化正定矩阵上，利用结构约束（如稀疏性、带状性）来实现方法。
• 理论分析在Huber的$ε$-污染模型下建立了极小极大收敛速率。
• 深度函数被设计为降低异常矩阵的权重，从而增强稳健性，且无需假设参数分布形式。

实验结果

研究问题

• RQ1 能否构建一种基于深度的新框架，以在污染条件下稳健估计结构化协方差矩阵？
• RQ2 在$ε$-污染条件下，最大化经验深度是否能实现极小极大最优估计？
• RQ3 在存在任意异常值的情况下，所提估计器相对于经典方法的表现如何？
• RQ4 在稳健深度估计器中，稀疏性或带状性等结构假设能在多大程度上被整合？
• RQ5 矩阵深度是否是单变量深度在多元散射矩阵上的合适推广？

主要发现

• 所提估计器在Huber的$ε$-污染模型下，对结构化协方差矩阵实现了极小极大最优收敛速率。
• 矩阵深度为散射矩阵提供了一种稳健且仿射不变的中心性度量，实现了对异常值的抵抗能力。
• 该估计器在各种结构下均保持优异性能，包括带状和稀疏协方差矩阵。
• 最大化经验深度可导出一种对任意污染不敏感的稳健估计程序，优于经典方法。
• 理论保证确认了该估计器在最小分布假设下的收敛速率最优性。
• 该方法通过在结构约束下利用基于深度的优化，有效平衡了稳健性与效率。