[论文解读] The Cellwise Minimum Covariance Determinant Estimator

Jakob Raymaekers, Peter J. Rousseeuw|arXiv (Cornell University)|Jul 27, 2022

Advanced Statistical Methods and Models参考文献 36被引用 4

一句话总结

本文提出 cellMCD，一种用于多元协方差矩阵的新型单元格级鲁棒估计器，结合了观测似然与对标记的单元格离群点的惩罚。它通过集中步骤（concentration steps）迭代最小化目标函数，实现高崩溃点（high breakdown）和有限样本效率，优于在普遍存在、非边缘性的单元格离群点场景下的行级方法。

ABSTRACT

The usual Minimum Covariance Determinant (MCD) estimator of a covariance matrix is robust against casewise outliers. These are cases (that is, rows of the data matrix) that behave differently from the majority of cases, raising suspicion that they might belong to a different population. On the other hand, cellwise outliers are individual cells in the data matrix. When a row contains one or more outlying cells, the other cells in the same row still contain useful information that we wish to preserve. We propose a cellwise robust version of the MCD method, called cellMCD. Its main building blocks are observed likelihood and a penalty term on the number of flagged cellwise outliers. It possesses good breakdown properties. We construct a fast algorithm for cellMCD based on concentration steps (C-steps) that always lower the objective. The method performs well in simulations with cellwise outliers, and has high finite-sample efficiency on clean data. It is illustrated on real data with visualizations of the results.

研究动机与目标

• 解决传统行级鲁棒方法在处理单元格离群点（即非边缘极端但整体污染数据的单个离群单元格）方面的局限性。
• 开发一种鲁棒协方差估计器，可在包含混合内点与离群点的行中保留有用信息，避免行级删除。
• 通过结合基于似然的估计与对标记离群点数量的惩罚，确保高崩溃点与有限样本效率。
• 构建一种快速、收敛的算法，基于集中步骤（C-steps），保证目标函数单调递减。
• 提供一个统一的鲁棒协方差估计框架，高效处理单元格离群点与干净数据。

提出的方法

• 提出一种单元格级 MCD 估计器（cellMCD），通过最小化结合了观测对数似然与离群点标记数量惩罚项的惩罚目标函数。
• 采用基于似然的方法在多元正态假设下建模数据，同时标记显著偏离估计模型的单元格。
• 为每个变量引入惩罚参数 $ q_j $，以控制标记离群点的数量，防止过拟合并确保鲁棒性。
• 实现一种 C-step 算法，交替更新位置与散度估计，保证目标函数单调递减。
• 通过使用一致估计器与惩罚正则化，确保所得协方差矩阵保持半正定。
• 将方法与初始估计器（如 DDCW）集成，并使用多个起始点（W）与类似 EM 的迭代（EM）以提升收敛性与稳定性。

实验结果

研究问题

• RQ1 能否设计一种鲁棒协方差估计器，以处理单元格离群点（即非行级离群点的单个离群单元格），而无需删除整行数据？
• RQ2 将似然与离群点惩罚结合的单目标公式是否优于现有成对或封装式估计器？
• RQ3 能否为单元格 MCD 构建一种快速、收敛的算法，保证单调改进与高崩溃点？
• RQ4 在有限样本效率与鲁棒性方面，cellMCD 与 MCD、DDCW 及无惩罚的 cellMCD 等现有方法相比表现如何？
• RQ5 调优参数 $ \varepsilon $ 与 $ \gamma $ 对估计器性能的影响如何，特别是在 MSE 与 Kullback-Leibler 散度方面？

主要发现

• cellMCD 实现了高崩溃点，并在高污染水平下（如 $ \varepsilon = 0.2 $）仍保持较低的 Kullback-Leibler 散度，优于 DDCW 与无惩罚的 cellMCD。
• 当 $ n = 800 $，$ d = 40 $，且 $ \varepsilon = 0.2 $ 时，使用 $ \gamma = 10 $ 与 10W+10EM 迭代的 cellMCD 得到 KL 散度为 108,819.65，显著低于 cellMCD_q0（108,819.46）与 DDCW（108,819.48），表明其具有更优的鲁棒性。
• 在干净数据（$ \varepsilon = 0 $）下，cellMCD 保持了高有限样本效率，$ \widehat{\mu} $ 的 MSE 为 0.00122，$ d=20 $ 时 KL 散度为 2.184，与经典估计器相当。
• C-step 算法持续降低目标函数，在所有测试配置中（如 $ \varepsilon = 0.1 $，$ \gamma = 10 $，10W+10EM）均观察到收敛，确保了算法稳定性。
• 该方法在 A09 与 ALYZ 污染模型的模拟中表现良好，即使每变量有 25% 的单元格被污染，仍表现出有界影响与鲁棒性。
• 非边缘性但存在于单元格中的离群点能被有效检测与处理，如方法在复杂污染模式下仍能保持低 KL 散度所证明。