[论文解读] New Results for Provable Dynamic Robust PCA.

Praneeth Narayanamurthy, Namrata Vaswani|arXiv (Cornell University)|May 24, 2017

Sparse and Compressive Sensing Techniques被引用 1

一句话总结

本文提出 simple-ReProCS，一种用于动态鲁棒主成分分析（PCA）的新型在线算法，可在稀疏异常值存在下追踪缓慢时变的低秩子空间。该方法在弱化假设（即子空间缓慢变化、异常值幅度存在下界）下首次提供了可证明的保证，实现了更高的异常值容忍度、接近最优的内存使用量以及快速的在线处理。

ABSTRACT

Dynamic robust PCA refers to the dynamic (time-varying) extension of robust PCA (RPCA). It assumes that the true (uncorrupted) data lies in a low-dimensional subspace that can change with time, albeit slowly. The goal is to track this changing subspace over time in the presence of sparse outliers. We develop and study a novel algorithm, that we call simple-ReProCS, based on the recently introduced Recursive Projected Compressive Sensing (ReProCS) framework. Our work provides the first guarantee for dynamic RPCA that holds under weakened versions of standard RPCA assumptions, slow subspace change and a lower bound assumption on most outlier magnitudes. Our result is significant because (i) it removes the strong assumptions needed by the two previous complete guarantees for ReProCS-based algorithms; (ii) it shows that it is possible to achieve significantly improved outlier tolerance, compared with all existing RPCA or dynamic RPCA solutions by exploiting the above two simple extra assumptions; and (iii) it proves that simple-ReProCS is online (after initialization), fast, and, has near-optimal memory complexity.

研究动机与目标

• 解决先前基于 ReProCS 的算法在可证明动态 RPCA 中所需强而不切实际的假设所导致的局限性。
• 在数据受稀疏异常值污染的时间变量子空间设置中实现鲁棒的子空间追踪。
• 减少对 RPCA 中常见限制性假设（如强非相干性或精确稀疏性）的依赖，同时保持理论保证。
• 证明 simple-ReProCS 在初始化后可实现接近最优的内存复杂度和在线处理。
• 表明利用子空间缓慢变化和异常值最小幅度可显著提升异常值容忍度，优于现有方法。

提出的方法

• 提出 simple-ReProCS，一种基于 ReProCS 框架的新算法，专为动态环境中低秩子空间的在线、递归估计而设计。
• 利用递归投影和压缩感知原理，随时间逐步估计并更新子空间。
• 将异常值幅度的下界作为关键假设，以提升鲁棒性并支持更强的理论保证。
• 依赖于子空间缓慢变化的假设，以确保子空间渐进演化，从而实现稳定追踪。
• 采用两阶段恢复过程：首先估计稀疏异常值分量，然后将结果投影到估计的低秩子空间以进行精炼。
• 通过仅在每个时间步维护子空间和异常值估计的紧凑表示，实现接近最优的内存复杂度。

实验结果

研究问题

• RQ1 动态鲁棒 PCA 是否可在弱于先前基于 ReProCS 算法所需假设的条件下被可证明求解？
• RQ2 通过假设子空间缓慢变化和异常值幅度存在下界，动态 RPCA 的异常值容忍度可提升至何种程度？
• RQ3 是否可以设计一种在线、快速且内存高效的动态 RPCA 算法，同时保持理论保证？
• RQ4 子空间缓慢变化与异常值最小幅度的结合是否能提供强于标准 RPCA 假设的更强恢复保证？
• RQ5 simple-ReProCS 是否可实现与现有解决方案相当或更优的性能，同时对限制性假设要求更少？

主要发现

• simple-ReProCS 在弱化假设（即子空间缓慢变化和异常值幅度存在下界）下首次为动态鲁棒 PCA 提供了可证明保证。
• 通过利用这两个额外假设，该算法在异常值容忍度方面显著优于所有现有 RPCA 和动态 RPCA 解决方案。
• simple-ReProCS 在初始化后为在线处理，支持实时计算，计算和内存开销极低。
• 该方法实现了接近最优的内存复杂度，仅在每个时间步存储子空间和异常值估计的必要组件。
• 理论分析证实，即使子空间随时间缓慢演化，该算法仍保持稳定和准确。
• 结果表明，子空间缓慢变化和异常值最小幅度这两个假设可实现更强的恢复保证，而无需强非相干性或精确稀疏性假设。