[论文解读] Robust PCA via Outlier Pursuit

Huan Xu, Constantine Caramanis+1 more|arXiv (Cornell University)|Oct 20, 2010

Sparse and Compressive Sensing Techniques参考文献 26被引用 205

一句话总结

本文提出 Outlier Pursuit，一种凸优化方法，可在异常值任意且数量众多的情况下，精确恢复低秩矩阵的列空间并识别数据矩阵中的异常值。该方法结合核范数最小化与 $̂´1,2$-范数正则化，在较弱的相干性和异常值比例条件下，联合恢复低秩结构并检测异常值。

ABSTRACT

Singular Value Decomposition (and Principal Component Analysis) is one of the most widely used techniques for dimensionality reduction: successful and efficiently computable, it is nevertheless plagued by a well-known, well-documented sensitivity to outliers. Recent work has considered the setting where each point has a few arbitrarily corrupted components. Yet, in applications of SVD or PCA such as robust collaborative filtering or bioinformatics, malicious agents, defective genes, or simply corrupted or contaminated experiments may effectively yield entire points that are completely corrupted. We present an efficient convex optimization-based algorithm we call Outlier Pursuit, that under some mild assumptions on the uncorrupted points (satisfied, e.g., by the standard generative assumption in PCA problems) recovers the exact optimal low-dimensional subspace, and identifies the corrupted points. Such identification of corrupted points that do not conform to the low-dimensional approximation, is of paramount interest in bioinformatics and financial applications, and beyond. Our techniques involve matrix decomposition using nuclear norm minimization, however, our results, setup, and approach, necessarily differ considerably from the existing line of work in matrix completion and matrix decomposition, since we develop an approach to recover the correct column space of the uncorrupted matrix, rather than the exact matrix itself. In any problem where one seeks to recover a structure rather than the exact initial matrices, techniques developed thus far relying on certificates of optimality, will fail. We present an important extension of these methods, that allows the treatment of such problems.

研究动机与目标

• 解决标准 PCA 在处理任意、完全损坏的数据点（异常值）时的局限性，这些异常值会严重扭曲低秩近似结果。
• 开发一种不仅能恢复真实低维子空间，还能精确定位受损列的方法。
• 在自然且温和的假设下，为列空间和异常值支持的精确恢复提供理论保证。
• 克服现有鲁棒 PCA 方法的不足，这些方法在高维情况下失效或无法识别异常值。
• 将框架扩展至处理噪声和部分观测数据，以适应协同过滤和生物信息学等实际应用场景。

提出的方法

• 将问题建模为矩阵分解 $ M = L_0 + C_0 $，其中 $ L_0 $ 为低秩矩阵，$ C_0 $ 为列稀疏矩阵（即异常值）。
• 采用凸优化程序：在约束 $ L + C = M $ 下最小化 $ \|L\|_* + \lambda \|C\|_{1,2} $，其中 $ \|\cdot\|_* $ 为核范数，$ \|\cdot\|_{1,2} $ 为混合范数。
• 利用一个 oracle 问题分析当目标结构（列空间）不唯一对应于单一矩阵时的恢复条件。
• 提出一种基于最优性证书的新型分析框架，专为列空间恢复设计，而非完整矩阵重构。
• 通过将约束修改为 $ \mathcal{P}_\Omega(L + C) = \mathcal{P}_\Omega(M) $ 的方式，将方法应用于噪声和不完全观测场景，其中 $ \Omega $ 为观测条目集合。
• 在优化后使用恢复的 $ C $ 矩阵中每列的 $ \ell_2 $-范数作为启发式方法识别异常值，并应用阈值处理。

实验结果

研究问题

• RQ1 当低秩矩阵的部分列被任意损坏（即异常值）时，是否可以在不知道秩或异常值位置的情况下，精确恢复其列空间？
• RQ2 在何种条件下，凸优化公式 $ \min \|L\|_* + \lambda \|C\|_{1,2} $ 能够实现列空间和异常值位置的精确恢复？
• RQ3 该方法的性能如何随维度增加而变化，尤其与传统鲁棒 PCA 算法相比，其崩溃点是否会随维度上升而降低？
• RQ4 在存在噪声或数据矩阵部分观测的情况下，该方法是否能成功识别异常值？
• RQ5 该方法是否对数据旋转保持不变？是否避免了其他矩阵恢复框架中常见的列空间相干性假设？

主要发现

• 在较弱条件下（包括异常值比例有界和 $ L_0 $ 的行空间相干性较低），Outlier Pursuit 能够精确恢复 $ L_0 $ 的列空间和 $ C_0 $ 的支持。
• 即使异常值在元素上不稀疏，该方法仍能实现精确恢复，这与传统矩阵补全方法不同。
• 在噪声情况下，当信噪比 $ \sigma/s \leq 0.3 $（相同异常值）或 $ \sigma/s \leq 0.7 $（随机异常值）时，Outlier Pursuit 能够正确识别异常值。
• 对于部分观测数据，即使观测比例仅为 30%，该算法仍保持较高的成功率，性能接近完整观测情况。
• 在 USPS 数字数据集上，该算法成功将所有 11 个 '7' 数字样本识别为异常值，另有两个 '1' 样本因书写风格异常也被标记。
• 该方法具有旋转不变性，且无需列空间相干性假设，这使其有别于依赖此类假设的其他基于核范数的方法。