[论文解读] Robust PCA and subspace tracking from incomplete observations using L0-surrogates

Clemens Hage, Martin Kleinsteuber|arXiv (Cornell University)|Oct 2, 2012

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

该论文提出了一种针对不完整、受损数据的鲁棒PCA与子空间追踪方法，采用非凸ℓ₀近似替代凸松弛。通过在Grassmann流形上使用内在共轭梯度法进行优化，该方法在处理高秩矩阵和更多异常值方面优于当前最先进方法，尤其在存在缺失数据和稀疏损坏的情况下表现更优。

ABSTRACT

Many applications in data analysis rely on the decomposition of a data matrix into a low-rank and a sparse component. Existing methods that tackle this task use the nuclear norm and L1-cost functions as convex relaxations of the rank constraint and the sparsity measure, respectively, or employ thresholding techniques. We propose a method that allows for reconstructing and tracking a subspace of upper-bounded dimension from incomplete and corrupted observations. It does not require any a priori information about the number of outliers. The core of our algorithm is an intrinsic Conjugate Gradient method on the set of orthogonal projection matrices, the so-called Grassmannian. Non-convex sparsity measures are used for outlier detection, which leads to improved performance in terms of robustly recovering and tracking the low-rank matrix. In particular, our approach can cope with more outliers and with an underlying matrix of higher rank than other state-of-the-art methods.

研究动机与目标

• 解决从不完整且稀疏受损观测中恢复低秩矩阵的挑战，传统凸松弛在高秩或密集异常值条件下失效。
• 开发一种无需预先知晓异常值数量或潜在子空间秩的方法。
• 实现在流式、不完整且受损数据上对时间变化子空间的鲁棒、精确追踪。
• 通过使用非凸ℓ₀近似替代凸松弛（如核范数、ℓ₁）来实现稀疏性和秩控制，克服凸松弛的局限性。
• 通过在Grassmann流形上使用内在Riemann几何方法进行优化，确保计算效率和可扩展性。

提出的方法

• 将鲁棒PCA问题建模为从不完整观测中进行低秩与稀疏矩阵分解，使用ℓ₀近似替代ℓ₁来建模稀疏性。
• 在固定维数子空间的Grassmann流形上进行优化，以在不预先固定秩的情况下施加秩的上界。
• 在Grassmann流形上实现内在共轭梯度法，以高效求解非凸优化问题。
• 采用基于收缩映射的更新策略，保持正交性并降低计算成本，从而实现大规模问题的可扩展性。
• 通过在线更新机制将框架扩展至增量子空间追踪，实现对时变子空间的实时适应。
• 在ℓ₀近似中引入平滑参数μ，以控制平滑优化与严格稀疏性强制之间的权衡。

实验结果

研究问题

• RQ1 非凸ℓ₀近似是否能在从不完整且稀疏受损数据中恢复低秩矩阵方面优于凸ℓ₁松弛？
• RQ2 在Grassmann流形上的优化是否能实现具有内在秩上界约束的鲁棒且可扩展的子空间恢复？
• RQ3 所提出方法是否能在不了解异常值数量的前提下，对存在缺失数据和大量异常值的时间变化子空间进行有效追踪？
• RQ4 ℓ₀近似中平滑参数μ的选择如何影响子空间自适应速度与前景检测中伪影抑制之间的权衡？
• RQ5 在高秩和高异常值条件下，该方法在准确性和鲁棒性方面相较于IALM、GRASTA和GoDec等最先进方法的优越程度如何？

主要发现

• 所提方法在高秩和高异常值条件下，相较于IALM、GRASTA和SpaRCS，表现出更优的恢复性能。
• 平均运行时间为3–3.7秒，优于SpaRCS（6.1秒）和GRASTA（11秒），尽管略慢于GoDec（1.5秒），但GoDec需要预先知晓异常值基数。
• 该方法在真实世界视频数据（如大厅数据集中的光照变化）中成功追踪子空间变化，在背景突变后数帧内即完成适应。
• 平滑参数μ值较低（如0.01）可实现更清晰的前景分割，减少伪影图像，表明对残留伪影的有效抑制。
• 即使在观测不完整和存在加性高斯噪声的情况下，该方法仍保持高精度，且在鲁棒性和灵活性方面优于凸替代方法。
• 在大厅数据集上的实验表明，低秩近似保持稳定且准确，稀疏残差能有效隔离移动的前景物体。