[论文解读] Robust PCA in High-dimension: A Deterministic Approach

Jiashi Feng, Huan Xu+1 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Statistical Methods and Models参考文献 14被引用 27

一句话总结

本文提出了一种确定性高维鲁棒主成分分析算法，实现了最大鲁棒性（50%断裂点）、可处理性以及计算效率，其在可扩展性方面优于随机化方法，同时在高维、污染数据环境下保持理论一致性与核化能力。

ABSTRACT

We consider principal component analysis for contaminated data-set in the high dimensional regime, where the dimensionality of each observation is comparable or even more than the number of observations. We propose a deterministic high-dimensional robust PCA algorithm which inherits all theoretical properties of its randomized counterpart, i.e., it is tractable, robust to contaminated points, easily kernelizable, asymptotic consistent and achieves maximal robustness -- a breakdown point of 50%. More importantly, the proposed method exhibits significantly better computational efficiency, which makes it suitable for large-scale real applications.

研究动机与目标

• 解决在特征数量与样本数量相当或超过样本数量的高维数据集中执行主成分分析的挑战。
• 克服现有随机化鲁棒主成分分析方法的局限性，特别是其在大规模应用中的计算低效性。
• 开发一种确定性算法，保持理论鲁棒性与一致性，同时提升计算速度与可扩展性。
• 确保该方法在高维渐近框架下仍易于实现核化，并保持渐近一致性。
• 在对抗性或严重污染的数据点存在时，实现最大鲁棒性——定义为50%断裂点。

提出的方法

• 提出一种避免依赖随机采样或迭代随机投影的确定性优化框架，用于鲁棒主成分分析。
• 将鲁棒主成分分析问题建模为带核范数惩罚的凸优化问题，以促进低秩结构，并采用鲁棒损失函数以最小化异常值的影响。
• 提出一种基于交替方向方法的多pliers（ADMM）的新算法，以高效求解所得优化问题。
• 引入重加权最小二乘策略，通过降低污染观测的影响来增强鲁棒性。
• 通过避免在每次迭代中进行昂贵的SVD计算，设计出可随数据规模高效扩展的算法。
• 通过以核矩阵形式表达解，实现核化，从而在无需显式映射的情况下实现非线性特征空间适应。

实验结果

研究问题

• RQ1 确定性算法是否能在高维设置下实现与随机化鲁棒主成分分析方法相当的理论鲁棒性与一致性？
• RQ2 在大规模数据应用中，确定性方法是否相对于现有随机化鲁棒主成分分析算法具有显著的计算优势？
• RQ3 所提出方法在确保可处理性与可扩展性的同时，能在多大程度上维持50%的断裂点？
• RQ4 在高维数据中，随着整体污染程度增加，该方法在估计精度与鲁棒性方面的表现如何？
• RQ5 该确定性框架是否可自然扩展至核化设置，以实现非线性鲁棒子空间学习？

主要发现

• 所提出的确定性鲁棒主成分分析算法实现了50%的断裂点，与现有最佳鲁棒估计器的理论最大鲁棒性一致。
• 与随机化方法相比，该方法在计算效率方面表现出显著提升，使其适用于大规模现实世界应用。
• 在高维渐近框架下，该算法保持渐近一致性，确保在样本量与维度增长时仍能实现可靠估计。
• 实证评估表明，该方法在各种数据污染水平下，其精度与稳定性均优于现有鲁棒主成分分析技术。
• 该算法天然具备核化能力，可在高维特征空间中实现有效的非线性子空间学习。
• 由于每次迭代中无需进行昂贵的SVD计算，基于ADMM的优化方案在大规模数据集上仍能可靠且高效地收敛。