[论文解读] Robust PCA by Manifold Optimization

Teng Zhang, Yi Yang|arXiv (Cornell University)|Aug 1, 2017

Sparse and Compressive Sensing Techniques参考文献 36被引用 19

一句话总结

本文提出两种流形优化算法用于鲁棒PCA，通过Burer-Monterio分解参数化数据矩阵的低秩结构。在适当初始化下，算法线性收敛至真实低秩矩阵，并相较于先前方法显著降低了对底层矩阵条件数的理论依赖。

ABSTRACT

Robust PCA is a widely used statistical procedure to recover a underlying low-rank matrix with grossly corrupted observations. This work considers the problem of robust PCA as a nonconvex optimization problem on the manifold of low-rank matrices, and proposes two algorithms (for two versions of retractions) based on manifold optimization. It is shown that, with a proper designed initialization, the proposed algorithms are guaranteed to converge to the underlying low-rank matrix linearly. Compared with a previous work based on the Burer-Monterio decomposition of low-rank matrices, the proposed algorithms reduce the dependence on the conditional number of the underlying low-rank matrix theoretically. Simulations and real data examples confirm the competitive performance of our method.

研究动机与目标

• 解决在高维数据中从严重损坏的观测中恢复低秩矩阵的挑战。
• 克服凸松弛方法的局限性，后者每轮迭代的计算复杂度较高（$O(n_1n_2\min(n_1,n_2))$）。
• 在低秩矩阵的流形上构建非凸优化框架，以实现更快且更可扩展的恢复。
• 相较于先前的非凸方法（如基于Burer-Monterio的方法），降低对底层低秩矩阵条件数的理论依赖。
• 通过适当的初始化策略确保线性收敛，提升实际应用中的鲁棒性与效率。

提出的方法

• 将鲁棒PCA建模为在低秩矩阵流形上的非凸优化问题，通过$\boldsymbol{L}^* = \boldsymbol{U}\boldsymbol{V}^T$参数化低秩矩阵。
• 使用流形优化技术，包括重投影映射（retractions）与向量传输（vector transport），高效地处理非凸流形结构。
• 基于不同的重投影方案设计两种算法，以确保数值稳定性和收敛性保证。
• 在低秩矩阵流形上应用梯度下降，利用内在几何结构避免参数化冗余。
• 提出一种定制化的初始化程序，确保迭代点始终位于真实低秩矩阵的邻域内。
• 利用浓度不等式与网覆盖论证，控制稀疏噪声$\boldsymbol{S}^*$对优化路径的影响，确保鲁棒性。

实验结果

研究问题

• RQ1 能否通过在低秩矩阵流形上的非凸优化高效求解鲁棒PCA，并具备理论收敛保证？
• RQ2 与现有基于Burer-Monterio的方法相比，所提方法如何降低对底层低秩矩阵条件数的依赖？
• RQ3 何种初始化策略可确保优化算法线性收敛至真实低秩矩阵？
• RQ4 在数据中存在高比例稀疏损坏的情况下，该流形优化框架是否仍保持鲁棒性？
• RQ5 与凸松弛法或标准非凸方法相比，该算法能否实现更快的收敛速度与更低的计算成本？

主要发现

• 在适当初始化下，所提算法线性收敛至真实低秩矩阵$\boldsymbol{L}^*$，且收敛速率与条件数$\kappa$无关。
• 理论分析表明，该方法相较于先前基于Burer-Monterio的方法降低了对$\kappa$的依赖，后者依赖关系为$O(1/\kappa^2)$。
• 算法每轮迭代的复杂度为$O(r n_1 n_2)$，与最优非凸方法相当，但理论鲁棒性更优。
• 仿真与真实数据实验验证了其在恢复精度与计算效率方面的竞争力。
• 以高概率可恢复$\boldsymbol{L}^*$，当损坏条目占比$\gamma = O(1/\mu^2 r)$时，达到最优理论界。
• 通过网覆盖与浓度不等式推导出噪声项$\boldsymbol{N}^*$的理论边界，确保噪声不会干扰收敛过程。