[论文解读] Robust Principal Component Analysis by Manifold Optimization

Teng Zhang, Yi Yang|arXiv (Cornell University)|Aug 1, 2017

Sparse and Compressive Sensing Techniques被引用 1

一句话总结

本文提出了两种流形优化算法用于鲁棒PCA，将低秩矩阵恢复问题视为流形上低秩矩阵的非凸优化问题。在合适的初始化下，算法线性收敛至真实的低秩矩阵，并且与先前基于Burer-Monier的方法相比，理论上的条件数依赖性有所降低。

ABSTRACT

Robust PCA is a widely used statistical procedure to recover a underlying low-rank matrix with grossly corrupted observations. This work considers the problem of robust PCA as a nonconvex optimization problem on the manifold of low-rank matrices, and proposes two algorithms (for two versions of retractions) based on manifold optimization. It is shown that, with a proper designed initialization, the proposed algorithms are guaranteed to converge to the underlying low-rank matrix linearly. Compared with a previous work based on the Burer-Monterio decomposition of low-rank matrices, the proposed algorithms reduce the dependence on the conditional number of the underlying low-rank matrix theoretically. Simulations and real data examples confirm the competitive performance of our method.

研究动机与目标

• 将鲁棒PCA表述为低秩矩阵流形上的非凸优化问题。
• 与现有基于Burer-Monier分解的方法相比，减少对底层低秩矩阵条件数的理论依赖性。
• 在合适初始化下，开发具有保证线性收敛性的算法。

提出的方法

• 将鲁棒PCA表述为低秩矩阵流形上的非凸优化问题。
• 基于不同的重收缩映射设计两种流形优化算法。
• 采用定制化的初始化策略，以确保收敛至真实的低秩矩阵。
• 利用黎曼优化技术高效地在低秩矩阵流形上导航。
• 理论分析表明，在合适初始化下可实现线性收敛。
• 利用流形结构提升数值稳定性并降低对条件数的敏感性。

实验结果

研究问题

• RQ1 鲁棒PCA能否被有效表述并求解为低秩矩阵流形上的非凸优化问题？
• RQ2 与基于Burer-Monier分解的方法相比，所提出的流形优化方法在条件数依赖性方面有何差异？
• RQ3 何种初始化策略可确保线性收敛至真实的低秩矩阵？
• RQ4 所提出的算法在合成数据和真实世界数据上能否实现具有竞争力的性能？

主要发现

• 在合适初始化下，所提出的算法可线性收敛至底层低秩矩阵。
• 与先前基于Burer-Monier的方法相比，该方法减少了对低秩矩阵条件数的理论依赖性。
• 仿真结果表明其性能与现有方法相当。
• 真实数据示例证实了所提方法的实际有效性。
• 流形优化框架提供了改进的数值稳定性和收敛行为。