[论文解读] Principal Component Analysis with Contaminated Data: The High Dimensional Case

Huan Xu, Constantine Caramanis+1 more|arXiv (Cornell University)|Feb 24, 2010

Sparse and Compressive Sensing Techniques参考文献 28被引用 31

一句话总结

该论文提出高维鲁棒主成分分析（HR-PCA），一种可计算的、迭代的算法，通过在标准PCA与高方差点的随机移除之间交替，鲁棒地恢复高维数据中任意被污染观测下的低维子空间。其分解点达到50%，优于现有方法，且在被污染点比例趋于零时渐近最优。

ABSTRACT

We consider the dimensionality-reduction problem (finding a subspace approximation of observed data) for contaminated data in the high dimensional regime, where the number of observations is of the same magnitude as the number of variables of each observation, and the data set contains some (arbitrarily) corrupted observations. We propose a High-dimensional Robust Principal Component Analysis (HR-PCA) algorithm that is tractable, robust to contaminated points, and easily kernelizable. The resulting subspace has a bounded deviation from the desired one, achieves maximal robustness -- a breakdown point of 50% while all existing algorithms have a breakdown point of zero, and unlike ordinary PCA algorithms, achieves optimality in the limit case where the proportion of corrupted points goes to zero.

研究动机与目标

• 解决观测数与变量数相当或更少的高维数据中的降维挑战。
• 克服经典PCA在存在任意被污染数据点时的脆弱性，特别是在信噪比（SNR）低或趋近于零的情况下。
• 开发一种可计算的、多项式时间复杂度的算法，在传统鲁棒PCA方法失效的高维情形下保持鲁棒性与统计一致性。
• 实现最大鲁棒性——定义为50%的分解点——同时在污染比例趋于零时保持渐近最优。
• 确保算法易于核化，以实现高维特征空间中的非线性降维。

提出的方法

• 在每次迭代中，对当前数据集应用标准PCA以计算主成分。
• 根据其对主导特征空间的贡献，识别并随机移除具有高表达方差的点——即最可能为离群点的点。
• 迭代重复PCA与随机移除步骤，生成候选子空间。
• 基于重构误差准则，从所有迭代中选择最优候选子空间。
• 利用概率分析证明：以高概率，候选子空间之一接近真实底层子空间。
• 通过随机移除确保鲁棒性，避免确定性偏差，并防止因对抗性污染导致性能下降。

实验结果

研究问题

• RQ1 能否在 n ≈ p 或 n < p 的高维情形下，使鲁棒PCA既可计算又有效？
• RQ2 鲁棒PCA算法在仍能恢复真实子空间的前提下，最多可容忍多少比例的任意被污染点？
• RQ3 在低信噪比与样本有限的高维设置下，现有鲁棒PCA算法的性能如何退化？
• RQ4 结合PCA与随机移除的简单迭代过程能否同时实现鲁棒性与渐近最优性？
• RQ5 能否设计一种可核化的鲁棒PCA算法，在存在污染的高维数据中保持统计一致性与计算效率？

主要发现

• HR-PCA 达到50%的分解点，为最大值，且优于现有鲁棒PCA算法（其分解点为零）。
• 该算法渐近最优：当被污染点比例趋于零时，HR-PCA 能精确恢复真实低维子空间。
• 在 d=1 和 d=3 的模拟实验中，HR-PCA 优于 ROBPCA、PP 和 PCA，尤其在信号幅度较小或维度较高时表现更优。
• ROBPCA 和 PP 随维度增加而性能急剧下降，原因在于 Stahel-Donoho 离群度失效，超过某一维度阈值后即失效。
• 基于 MVT 的方法在 n = m 时失效，因协方差矩阵病态，其分解点随 1/m 缩放，因此不适用于高维数据。
• HR-PCA 在 λ = 40% 污染率下仍保持稳定性能，展现出在极端污染下的强鲁棒性。