[论文解读] RES-PCA: A Scalable Approach to Recovering Low-rank Matrices

Chong Peng, Chenglizhao Chen+3 more|arXiv (Cornell University)|Apr 16, 2019

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

该论文提出RES-PCA，一种可扩展的鲁棒PCA方法，无需计算奇异值分解（SVD），通过利用数据中的群组结构信息，在数据规模和维度上均实现线性计算复杂度，从而恢复低秩矩阵。该方法在速度和可扩展性方面优于最先进的方法（如AltProj），尤其在真实秩未知的情况下表现更优，并在真实世界数据集上的低秩恢复、去阴影和异常检测任务中表现出色。

ABSTRACT

Robust principal component analysis (RPCA) has drawn significant attentions due to its powerful capability in recovering low-rank matrices as well as successful appplications in various real world problems. The current state-of-the-art algorithms usually need to solve singular value decomposition of large matrices, which generally has at least a quadratic or even cubic complexity. This drawback has limited the application of RPCA in solving real world problems. To combat this drawback, in this paper we propose a new type of RPCA method, RES-PCA, which is linearly efficient and scalable in both data size and dimension. For comparison purpose, AltProj, an existing scalable approach to RPCA requires the precise knowlwdge of the true rank; otherwise, it may fail to recover low-rank matrices. By contrast, our method works with or without knowing the true rank; even when both methods work, our method is faster. Extensive experiments have been performed and testified to the effectiveness of proposed method quantitatively and in visual quality, which suggests that our method is suitable to be employed as a light-weight, scalable component for RPCA in any application pipelines.

研究动机与目标

• 解决现有RPCA方法依赖SVD计算导致的高计算复杂度问题，这些方法的计算复杂度随数据规模呈二次或三次方增长。
• 开发一种可扩展且轻量级的RPCA方法，即使在缺乏真实矩阵秩的先验知识时仍能保持有效性。
• 利用低秩分量中的潜在群组结构，替代基于SVD的优化，实现线性时间计算。
• 评估该方法在真实世界应用（如去阴影和异常检测）中的性能。

提出的方法

• RES-PCA将RPCA表述为无需依赖SVD计算的低秩加稀疏矩阵分解问题。
• 采用增广拉格朗日法（ALM）进行优化，避免在每次迭代中进行矩阵分解。
• 利用数据点之间的几何相似性和群组结构相似性，隐式建模低秩结构。
• 用基于群组的正则化替代核范数，以捕捉集体低秩模式。
• 该算法在样本数 $n$ 和维度 $d$ 上均实现线性复杂度，使其适用于大规模数据。
• 与AltProj等方法不同，该方法无需输入真实秩，因此在真实秩未知时仍能正常运行。

实验结果

研究问题

• RQ1 能否设计一种鲁棒PCA方法，在避免SVD计算的同时保持高恢复精度？
• RQ2 当真实秩未知时，RES-PCA与最先进方法（如AltProj）相比性能如何？
• RQ3 利用数据中的群组结构在多大程度上能提升低秩恢复的效率和可扩展性？
• RQ4 RES-PCA能否在具有线性时间复杂度的前提下，有效处理真实世界任务（如去阴影和异常检测）？

主要发现

• RES-PCA在数据维度 $d$ 和样本数 $n$ 上均实现了线性时间复杂度，通过在多个数据集上的运行时间测量得到实证验证。
• 即使AltProj已知真实秩，RES-PCA在速度上仍优于AltProj，且在真实秩未知时，RES-PCA能成功运行而AltProj会失败。
• 在人脸图像去阴影任务中，RES-PCA成功去除了受试者1和受试者2的阴影，而其他方法在受试者1上失败。
• 在USPS数字的异常检测任务中，RES-PCA正确识别出所有'7'和多个异常的'1'为异常值，表现为稀疏分量 $S$ 中较高的 $\ell_2$ 范数。
• 所有实验的平均迭代次数为23–25次，且在30次迭代内完成收敛，表明优化过程稳定且高效。
• 视觉和定量结果均表明，与现有基于SVD的RPCA方法相比，RES-PCA在恢复质量与可扩展性方面表现更优。