[论文解读] Robust Principal Component Analysis?

Emmanuel J. Candès, Xiaodong Li+2 more|ArXiv.org|Dec 18, 2009

Sparse and Compressive Sensing Techniques被引用 305

一句话总结

本文通过主成分追踪（Principal Component Pursuit）提出了一种鲁棒主成分分析（Robust PCA），这是一种凸优化方法，通过最小化核范数与ℓ₁-范数的加权组合，可精确恢复低秩矩阵与稀疏矩阵的叠加结果。关键贡献在于，在较弱条件下提供了可证明正确且可扩展的鲁棒矩阵分解解决方案，即使在恒定比例的条目被任意破坏的情况下，也能实现精确恢复。

ABSTRACT

This paper is about a curious phenomenon. Suppose we have a data matrix, which is the superposition of a low-rank component and a sparse component. Can we recover each component individually? We prove that under some suitable assumptions, it is possible to recover both the low-rank and the sparse components exactly by solving a very convenient convex program called Principal Component Pursuit; among all feasible decompositions, simply minimize a weighted combination of the nuclear norm and of the L1 norm. This suggests the possibility of a principled approach to robust principal component analysis since our methodology and results assert that one can recover the principal components of a data matrix even though a positive fraction of its entries are arbitrarily corrupted. This extends to the situation where a fraction of the entries are missing as well. We discuss an algorithm for solving this optimization problem, and present applications in the area of video surveillance, where our methodology allows for the detection of objects in a cluttered background, and in the area of face recognition, where it offers a principled way of removing shadows and specularities in images of faces.

研究动机与目标

• 解决经典PCA在存在严重损坏（如异常值或缺失数据）时的脆弱性问题。
• 开发一种可扩展且可证明正确的算法，用于在低秩与稀疏分量的结构和大小均未知时，将数据矩阵分解为低秩与稀疏成分。
• 在高维数据中实现对任意损坏的鲁棒降维与主成分估计。
• 为视频监控和人脸识别等应用提供一个系统化的框架，其中背景建模与异常值去除至关重要。

提出的方法

• 将矩阵分解问题建模为凸优化问题：在满足 M = L + S 的条件下，最小化 λ‖L‖⁎ + ‖S‖₁，其中 L 为低秩矩阵，S 为稀疏矩阵。
• 利用核范数最小化（‖L‖⁎）来促进低秩结构，利用 ℓ₁-范数最小化（‖S‖₁）来促进稀疏性。
• 借助对偶性与随机矩阵理论，在对 L 的秩和 S 的稀疏性施加较弱假设的前提下，证明了精确恢复的可行性。
• 证明当低秩与稀疏分量足够不相干，且被破坏条目数量相对于矩阵大小较小时，该凸优化问题的解可精确恢复两个分量。
• 设计一种交替方向乘乘法（ADMM）算法，以在实际中高效求解该优化问题。
• 使用概率论论证与覆盖论证，对算子范数进行有界处理，确保以高概率实现恢复保证。

实验结果

研究问题

• RQ1 当稀疏分量具有任意大的条目且支持集未知时，能否精确恢复其叠加后的低秩与稀疏矩阵？
• RQ2 是否存在一种凸优化方法，可在对秩与稀疏性施加较弱假设的前提下，可证明地恢复两个分量？
• RQ3 所提出的方法是否能处理恒定比例条目被破坏的情况，并仍实现精确恢复？
• RQ4 在存在缺失数据的情况下，该方法表现如何？是否可扩展至存在严重损坏的矩阵补全问题？
• RQ5 核范数与 ℓ₁-范数最小化联合恢复真实分量的理论条件是什么？

主要发现

• 论文证明，在较弱的非相干性与稀疏性假设下，通过主成分追踪可高概率地精确恢复低秩与稀疏分量。
• 当矩阵大小为 n×n 时，若秩较小且稀疏分量足够稀疏，则当被破坏条目数量为 O(n^{1.5}/log n) 时，可保证精确恢复。
• 核范数最小化促进低秩结构，ℓ₁-范数最小化促进稀疏性，二者结合可实现精确分解。
• 恢复过程对严重损坏具有鲁棒性：即使恒定比例的条目被任意破坏，方法仍能恢复真实分量。
• 当稀疏分量的采样率足够低，且低秩分量与标准基足够不相干时，该算法可高概率实现精确恢复。
• 在视频监控与人脸识别中的数值实验表明，该方法能成功将背景（低秩）与运动物体（稀疏）分离，并有效去除阴影与高光。