[论文解读] Solving Principal Component Pursuit in Linear Time via $l_1$ Filtering

Risheng Liu, Zhouchen Lin+2 more|arXiv (Cornell University)|Aug 26, 2011

Sparse and Compressive Sensing Techniques参考文献 19被引用 28

一句话总结

该论文提出 $l_1$ 滤波，一种新颖的算法，可在线性时间 $O(r^2(m+n))$ 内精确求解主成分追踪（PCP）问题，其中 $m \times n$ 为数据矩阵的大小，$r$ 为低秩。通过利用种子矩阵并在行和列上进行 $l_1$-范数滤波，该方法避免了对完整矩阵执行昂贵的 SVD 计算，从而实现了在大规模计算机视觉任务中对低秩和稀疏分量的高效、高度可并行化恢复。

ABSTRACT

In the past decades, exactly recovering the intrinsic data structure from corrupted observations, which is known as robust principal component analysis (RPCA), has attracted tremendous interests and found many applications in computer vision. Recently, this problem has been formulated as recovering a low-rank component and a sparse component from the observed data matrix. It is proved that under some suitable conditions, this problem can be exactly solved by principal component pursuit (PCP), i.e., minimizing a combination of nuclear norm and $l_1$ norm. Most of the existing methods for solving PCP require singular value decompositions (SVD) of the data matrix, resulting in a high computational complexity, hence preventing the applications of RPCA to very large scale computer vision problems. In this paper, we propose a novel algorithm, called $l_1$ filtering, for \emph{exactly} solving PCP with an $O(r^2(m+n))$ complexity, where $m imes n$ is the size of data matrix and $r$ is the rank of the matrix to recover, which is supposed to be much smaller than $m$ and $n$. Moreover, $l_1$ filtering is \emph{highly parallelizable}. It is the first algorithm that can \emph{exactly} solve a nuclear norm minimization problem in \emph{linear time} (with respect to the data size). Experiments on both synthetic data and real applications testify to the great advantage of $l_1$ filtering in speed over state-of-the-art algorithms.

研究动机与目标

• 解决现有 RPCA 方法依赖奇异值分解（SVD）所导致的计算瓶颈，并使其计算复杂度随数据规模呈二次方增长。
• 实现在标准 SVD 基础方法不可行的超大规模数据矩阵中，对低秩和稀疏分量的精确恢复。
• 开发一种时间复杂度与数据规模呈线性关系的方法，使鲁棒 PCA 可应用于计算机视觉中常见的海量数据集。
• 确保高度可并行化，以利用现代计算架构在大规模部署中实现进一步加速。
• 在保持精度的前提下，为 PCP 问题提供理论基础坚实、精确的解法，即使在大规模场景下亦不妥协。

提出的方法

• 从观测数据矩阵 $\mathbf{M}$ 中选取一个随机子矩阵（种子矩阵），以估计低秩分量 $\mathbf{L}_0$。
• 利用种子矩阵的奇异值分解（SVD）提取低秩逼近，作为后续滤波的基础。
• 通过最小化到种子矩阵所张成子空间的 $l_1$ 距离，应用 $l_1$-范数滤波来恢复列和行子矩阵 ($\mathbf{L}^c$ 和 $\mathbf{L}^r$)。
• 使用广义 Nystroem 方法，结合种子矩阵、列子矩阵和行子矩阵，重构剩余矩阵元素，以估计完整的低秩矩阵。
• 将滤波步骤表述为使用 $l_1$ 最小化来促进误差分量稀疏性的凸优化问题。
• 确保算法避免对原始数据矩阵执行完整的 SVD 计算，从而实现与数据规模呈线性关系的时间复杂度 $O(r^2(m+n))$。

实验结果

研究问题

• RQ1 能否设计一种鲁棒 PCA 算法，使 PCP 问题的求解时间复杂度与数据规模呈线性关系？
• RQ2 $l_1$ 滤波能否在不执行完整数据矩阵 SVD 的情况下，有效恢复低秩和稀疏分量？
• RQ3 所提出的方法在大规模数据上是否能保持 PCP 的精确恢复保证，同时实现显著加速？
• RQ4 $l_1$ 滤波在真实视频数据上的准确率和速度与 S-PCP 和 RSL 等最先进方法相比如何？
• RQ5 该算法能否被有效并行化，从而在大规模矩阵上进一步加速计算？

主要发现

• $l_1$ 滤波算法实现了线性时间复杂度 $O(r^2(m+n))$，使其成为首个在数据规模上实现核范数最小化的线性时间精确方法。
• 在 'laboratory' 视频数据集（$240 \times 320$，887 帧）上，$l_1$ 滤波实现了 8.62% 的漏检率（FNR）和 8.76% 的误检率（FPR），准确率与 S-PCP 相当，但速度显著更快（48.99 秒 vs. 10,897.96 秒）。
• 在 'meeting' 视频数据集（$576 \times 720$，700 帧）上，$l_1$ 滤波耗时 178.74 秒，优于 RSL（未能收敛），且速度与中值滤波相当，同时在前景-背景分离方面表现更优。
• 该方法成功恢复了 'meeting' 序列中的低秩背景和稀疏前景，而中值滤波因慢速移动物体而失效，表明其在全局结构恢复方面具有更强鲁棒性。
• 实验表明，$l_1$ 滤波具有高度可并行化特性，可在超出主内存容量的大规模矩阵上实现高效扩展。
• 即使在小内在秩的超大规模数据矩阵上，该算法在标准 PCP 条件下仍保持理论上的精确恢复保证。