[论文解读] Non-convex Robust PCA

Praneeth Netrapalli, U. N. Niranjan+3 more|CaltechAUTHORS (California Institute of Technology)|Oct 28, 2014

Sparse and Compressive Sensing Techniques参考文献 21被引用 108

一句话总结

本文提出了一种用于鲁棒PCA的非凸交替投影方法，该方法在低秩矩阵集和稀疏矩阵集之间交替投影残差，可在与凸方法相同的条件下实现精确恢复。该方法的时间复杂度为 $O(r^2mn \text{ log}(1/\theta))$，迭代次数为 $O(\text{log}(1/\theta))$，效率与PCA相当，同时具备可证明的全局收敛性，并且在速度上显著优于IAlm等凸求解器。

ABSTRACT

We propose a new method for robust PCA -- the task of recovering a low-rank matrix from sparse corruptions that are of unknown value and support. Our method involves alternating between projecting appropriate residuals onto the set of low-rank matrices, and the set of sparse matrices; each projection is {\em non-convex} but easy to compute. In spite of this non-convexity, we establish exact recovery of the low-rank matrix, under the same conditions that are required by existing methods (which are based on convex optimization). For an $m imes n$ input matrix ($m \leq n)$, our method has a running time of $O(r^2mn)$ per iteration, and needs $O(\log(1/ε))$ iterations to reach an accuracy of $ε$. This is close to the running time of simple PCA via the power method, which requires $O(rmn)$ per iteration, and $O(\log(1/ε))$ iterations. In contrast, existing methods for robust PCA, which are based on convex optimization, have $O(m^2n)$ complexity per iteration, and take $O(1/ε)$ iterations, i.e., exponentially more iterations for the same accuracy. Experiments on both synthetic and real data establishes the improved speed and accuracy of our method over existing convex implementations.

研究动机与目标

• 为解决凸优化方法在鲁棒PCA中计算成本过高的问题，这些方法在大规模数据上扩展性差。
• 设计一种非凸算法，结合标准PCA的低计算复杂度与凸方法的全局收敛保证。
• 在与凸方法相同的紧致理论条件下，实现对低秩和稀疏分量的精确恢复。
• 在真实世界应用中（如视频中的前景-背景分离）展示显著的速度提升和更优的视觉质量。

提出的方法

• 该方法执行交替的非凸投影：首先通过截断SVD将残差投影到低秩矩阵集合，然后通过硬阈值化将残差投影到稀疏矩阵集合。
• 每次迭代包括使用秩-$r$ SVD计算残差矩阵的低秩近似，随后通过硬阈值化强制实现稀疏性。
• 该算法被设计为在迭代过程中同时压缩低秩和稀疏分量中的误差，从而确保收敛。
• 理论分析建立了在确定性稀疏性和无偏性条件下的误差收缩，边界通过新颖的矩阵扰动分析推导得出。
• 该方法仅需 $O(\text{log}(1/\epsilon))$ 次迭代即可达到 $\epsilon$-精度，与PCA的收敛速率一致。
• 每次迭代的复杂度为 $O(r^2mn)$，接近最优，且当 $r \ll m,n$ 时与PCA的 $O(rmn)$ 非常接近。

实验结果

研究问题

• RQ1 非凸交替投影方法是否能在与凸方法相同的条件下实现对低秩和稀疏分量的精确恢复？
• RQ2 所提方法是否能实现线性收敛，仅需 $O(\text{log}(1/\epsilon))$ 次迭代，与PCA的收敛速率一致？
• RQ3 该方法是否能在保持 $O(r^2mn)$ 的低每次迭代复杂度的同时，优于IAlm等凸求解器在速度和精度上的表现？
• RQ4 在大规模合成数据和真实世界视频数据集（尤其是前景-背景分离任务）中，该方法的实际表现如何？

主要发现

• 所提出的非凸鲁棒PCA方法在与凸方法相同的理论条件下（常数因子范围内）实现了对低秩和稀疏分量的精确恢复。
• 该方法实现线性收敛，仅需 $O(\text{log}(1/\epsilon))$ 次迭代即可达到 $\epsilon$-精度，而凸求解器则需要 $O(1/\epsilon)$ 次迭代。
• 在Shopping Mall数据集中，NcRPCA在292.1秒内完成计算，秩为20，$\|S\|_0 = 95,418,96$，优于IAlm（耗时783.4秒，秩为286）。
• 在Curtain数据集中，NcRPCA在39.5秒内计算出秩为1的解，$\|S\|_0 = 53,897,769$，而IAlm耗时989.0秒，得到秩为701的解。
• 视觉结果表明，与IAlm相比，NcRPCA产生的前景-背景分离更清晰，伪影更少，如阴影和反光。
• 在高稀疏性和高无偏性场景下，该方法在计算时间和中间解质量方面显著优于IAlm，而凸方法在此类场景中常因中间秩过高而表现不佳。