[论文解读] Robust Principal Component Analysis on Graphs

Nauman Shahid, Vassilis Kalofolias+3 more|arXiv (Cornell University)|Apr 23, 2015

Face and Expression Recognition参考文献 1被引用 20

一句话总结

本文提出图上的鲁棒PCA，这是一种凸优化框架，通过将谱图正则化引入鲁棒PCA，增强了低秩恢复和聚类性能。通过最小化核范数、稀疏误差和基于图拉普拉斯的平滑性组合，该方法在基准数据集和视频数据集上处理遮挡、缺失数据和类别分离方面表现出色，优于10种最先进模型。

ABSTRACT

Principal Component Analysis (PCA) is the most widely used tool for linear dimensionality reduction and clustering. Still it is highly sensitive to outliers and does not scale well with respect to the number of data samples. Robust PCA solves the first issue with a sparse penalty term. The second issue can be handled with the matrix factorization model, which is however non-convex. Besides, PCA based clustering can also be enhanced by using a graph of data similarity. In this article, we introduce a new model called "Robust PCA on Graphs" which incorporates spectral graph regularization into the Robust PCA framework. Our proposed model benefits from 1) the robustness of principal components to occlusions and missing values, 2) enhanced low-rank recovery, 3) improved clustering property due to the graph smoothness assumption on the low-rank matrix, and 4) convexity of the resulting optimization problem. Extensive experiments on 8 benchmark, 3 video and 2 artificial datasets with corruptions clearly reveal that our model outperforms 10 other state-of-the-art models in its clustering and low-rank recovery tasks.

研究动机与目标

• 为解决经典PCA和鲁棒PCA在处理异常值和聚类性能差方面的局限性。
• 通过将基于图的流形结构融入鲁棒PCA框架，提升低秩恢复和聚类性能。
• 开发一种参数极少的凸优化模型，确保在数据受损情况下仍能实现精确的低秩恢复和高聚类纯度。
• 展示对图构建质量的鲁棒性以及在真实世界数据（如图像和视频）上的性能表现。

提出的方法

• 该方法将凸优化问题表述为最小化低秩矩阵L的核范数、稀疏误差S的l1-范数以及基于图拉普拉斯的项γ·tr(LΦLᵀ)。
• 利用归一化的图拉普拉斯Φ来强制低秩表示在数据流形上的平滑性，促进聚类结构的形成。
• 该模型直接恢复低秩矩阵L，无需显式计算主成分，避免了非凸分解。
• 通过p-最近邻方法构建图，采用三种加权方案：二值化、高斯核和相关距离。
• 使用增广拉格朗日法求解优化问题，通过交叉验证选择参数λ（稀疏性）和γ（图正则化）。
• 该方法即使在基于受损数据构建图的情况下也具有鲁棒性，性能依然强劲。

实验结果

研究问题

• RQ1 在严重损坏条件下，谱图正则化能否提升鲁棒PCA中的低秩恢复和聚类性能？
• RQ2 将图平滑性引入低秩矩阵是否能提升嵌入空间中的聚类纯度？
• RQ3 与10种最先进降维模型相比，所提出的凸模型在性能和鲁棒性方面表现如何？
• RQ4 该方法对噪声或受损图构建是否具有鲁棒性？
• RQ5 该模型能否在视频数据中实现精确的低秩恢复和优越的背景分离？

主要发现

• 在8个基准数据集、3个视频序列和2个人工损坏数据集上，该模型在聚类和低秩恢复方面优于10种最先进模型。
• 在CMU PIE数据集（20%块遮挡）上，该模型的重建误差显著低于RPCA和RGLPCA，视觉恢复效果更优。
• 在视频背景提取任务中，该模型成功去除了移动的人和阴影，生成的静态背景比RPCA更清晰，甚至无需事先知道稀疏误差信息。
• 该方法在不同图构建策略下均保持高性能，包括基于受损数据构建的图，表现出良好的鲁棒性。
• 由于图诱导的平滑性，即使在无干净数据的情况下，该模型仍能实现精确的低秩恢复和优越的聚类性能。
• 计算时间高于部分模型，因每次迭代中需进行SVD运算，但准确率与计算代价的权衡有利，未来可通过随机SVD加速优化。