[论文解读] Static and Dynamic Robust PCA via Low-Rank + Sparse Matrix Decomposition: A Review.

Namrata Vaswani, Praneeth Narayanamurthy|arXiv (Cornell University)|Mar 1, 2018

Sparse and Compressive Sensing Techniques参考文献 42被引用 3

一句话总结

本文回顾了过去十年在鲁棒主成分分析（RPCA）与动态RPCA（鲁棒子空间追踪）方面的研究，将两者均框架化为低秩加稀疏矩阵分解问题。文章综合了各类方法的理论保证、算法设计与实证性能，提供了在稀疏噪声下鲁棒子空间估计的可证明正确、快速且内存高效的解决方案的全面分析。

ABSTRACT

Principal Components Analysis (PCA) is one of the most widely used dimension reduction techniques. Robust PCA (RPCA) refers to the problem of PCA when the data may be corrupted by outliers. Recent work by Candes, Wright, Li, and Ma defined RPCA as a problem of decomposing a given data matrix into the sum of a low-rank matrix (true data) and a sparse matrix (outliers). The column space of the low-rank matrix then gives the PCA solution. This simple definition has lead to a large amount of interesting new work on provably correct, fast, and practically useful solutions to the RPCA problem. More recently, the dynamic (time-varying) version of the RPCA problem has been studied and a series of provably correct, fast, and memory efficient tracking solutions have been proposed. Dynamic RPCA (or robust subspace tracking) is the problem of tracking data lying in a (slowly) changing subspace while being robust to sparse outliers. This article provides an exhaustive review of the last decade of literature on RPCA and its dynamic counterpart (robust subspace tracking), along with describing their theoretical guarantees, discussing the pros and cons of various approaches, and providing empirical comparisons of performance and speed.

研究动机与目标

• 提供对过去十年鲁棒主成分分析（RPCA）及其动态变体——鲁棒子空间追踪的全面综述。
• 基于低秩加稀疏矩阵分解，分析RPCA方法的理论基础、算法设计与实际性能。
• 从准确性、速度与内存效率角度，比较各类RPCA与鲁棒子空间追踪算法的优势与局限。
• 整合多种方法的实证结果与理论保证，以指导未来研究与实际应用。

提出的方法

• 本文将RPCA框架化为矩阵分解问题：给定一个被污染的数据矩阵，恢复其底层的低秩结构与稀疏异常分量。
• 回顾了凸松弛技术，如核范数最小化（用于低秩）与L1-范数最小化（用于稀疏性），以求解分解问题。
• 针对动态RPCA，考察了递归与增量算法，以在时间变化的低秩子空间中持续追踪并分离稀疏异常值。
• 评估了增广拉格朗日法、奇异值阈值化方法以及交替方向乘子法（ADMM）在求解优化问题中的应用。
• 分析了各类算法的收敛性保证、对污染水平的鲁棒性以及计算复杂度。
• 基于处理大规模数据、实时处理与内存约束的能力，对不同方法进行比较。

实验结果

研究问题

• RQ1 基于低秩加稀疏分解的RPCA与鲁棒子空间追踪算法，其关键理论保证是什么？
• RQ2 不同RPCA算法在速度、准确性和内存效率方面的表现如何比较？
• RQ3 现有RPCA方法在处理具有稀疏污染的真实世界时变数据时，存在哪些实际局限性？
• RQ4 凸松弛与非凸优化方法在求解RPCA问题时的性能如何比较？
• RQ5 在真实应用中，批量与在线（动态）RPCA方法在性能权衡上存在哪些差异？

主要发现

• 本文证实，在满足一定非相干性与稀疏性条件下，通过低秩加稀疏分解实现的RPCA可实现可证明正确的恢复。
• 如核范数最小化与L1-最小化等凸优化方法虽具备强理论保证，但对大规模数据而言计算成本较高。
• 动态RPCA方法，尤其是基于递归与增量算法的方案，在保持对稀疏异常值鲁棒性的同时，实现了低内存消耗与实时性能。
• 实证比较表明，部分非凸与贪心算法在速度与可扩展性方面可达到甚至优于凸方法的性能。
• 综述指出，鲁棒子空间追踪算法在视频背景建模与运动分析等子空间缓慢演化的应用中尤为有效。
• 综合分析表明，算法选择在很大程度上取决于计算效率、鲁棒性与理论保证之间的权衡。