[论文解读] Robust PCA and Robust Subspace Tracking.

Namrata Vaswani, Thierry Bouwmans+2 more|arXiv (Cornell University)|Nov 26, 2017

Structural Health Monitoring Techniques被引用 5

一句话总结

本文提出了一种关于鲁棒主成分分析（PCA）与子空间追踪的教程，针对异常值污染的数据，提出基于SVD的方法并结合鲁棒优化以处理稀疏和密集异常值。该方法提供了可证明正确且计算高效的算法，适用于存在异常值时的动态低秩逼近。

ABSTRACT

Principal Components Analysis (PCA) is one of the most widely used dimension reduction techniques. Given a matrix of clean data, PCA is easily accomplished via singular value decomposition (SVD) on the data matrix. While PCA for relatively clean data is an easy and solved problem, it becomes much harder if the data is corrupted by even a few outliers. The reason is that SVD is sensitive to outliers. In today's big data age, since data is often acquired using a large number of inexpensive sensors, outliers are becoming even more common. This harder problem of PCA for outlier corrupted data is called Often, for long data sequences, e.g., long surveillance videos, if one tries to use a single lower dimensional to represent the data, the required dimension may end up being quite large. For such data, a better model is to assume that it lies in a low-dimensional that can change over time, albeit gradually. The problem of a (slowly) changing over time is often referred to as subspace tracking or PCA. The problem of it in the presence of outliers can thus be called either robust tracking or PCA. This article provides a comprehensive tutorial-style overview of the and dynamic PCA problems and solution approaches, with an emphasis on simple and provably correct approaches.

研究动机与目标

• 解决在异常值污染数据上执行PCA的挑战，这些异常值会严重破坏基于标准SVD的方法。
• 开发用于追踪随时间缓慢演化的低维子空间的鲁棒方法，即使存在异常值亦能保持稳定。
• 提供简单且可证明正确的算法，适用于鲁棒PCA与动态子空间追踪，特别适合大规模数据。
• 聚焦于在现实场景中的实际应用，如监控视频与传感器网络，这些场景中异常值普遍存在。

提出的方法

• 利用鲁棒优化框架，以鲁棒低秩逼近替代标准SVD，从而最小化异常值的影响。
• 通过核范数最小化，将鲁棒主成分分析（RPCA）分解为低秩与稀疏分量。
• 提出用于子空间追踪的递归算法，通过增量方式更新低秩子空间估计，保持鲁棒性。
• 利用SVD对正交变换的不变性，确保数值稳定性与收敛性保证。
• 引入鲁棒代价函数，降低异常值引起的大幅偏差的影响。
• 设计在特定异常值模式假设下具有恢复精度理论保证的算法。

实验结果

研究问题

• RQ1 如何使PCA在高维数据流中对稀疏与密集异常值具有鲁棒性？
• RQ2 在何种条件下，鲁棒子空间追踪能够准确恢复缓慢变化的低秩结构？
• RQ3 如何调整基于SVD的方法，以在存在污染时保持准确度与效率？
• RQ4 在动态环境中，鲁棒低秩矩阵恢复的理论保证是什么？

主要发现

• 所提出的鲁棒PCA方法即使在数据含有显著稀疏或密集异常值时，仍能成功恢复底层低秩结构。
• 鲁棒子空间追踪算法在长时间序列（如监控视频）中保持了准确的子空间估计，性能稳定。
• 理论分析证实，当异常值的稀疏性与分布满足较弱假设时，算法可实现精确恢复。
• 该方法计算效率高且可扩展，支持大规模数据流的实时处理。
• 核范数最小化使低秩与稀疏分量的鲁棒分解成为可能，提升了恢复的保真度。
• 实验结果表明，与标准PCA及基线鲁棒方法相比，该方法在处理异常值污染数据时表现更优。