[论文解读] Nearly Optimal Robust Subspace Tracking and Dynamic Robust PCA

Praneeth Narayanamurthy, Namrata Vaswani|arXiv (Cornell University)|Dec 17, 2017

Sparse and Compressive Sensing Techniques参考文献 16被引用 2

一句话总结

该论文提出 ReProCS-NORST，一种用于鲁棒子空间追踪（RST）的递归投影压缩感知算法，可在弱化的 RPCA 假设下实现接近最优的追踪延迟 $O(r \log n \log(1/\epsilon))$ 和内存复杂度，通过引入子空间缓慢变化和有界异常值幅值的额外假设，显著提升了对异常值的容忍度。

ABSTRACT

In this work, we study the robust subspace tracking (RST) problem and obtain one of the first two provable guarantees for it. The goal of RST is to track sequentially arriving data vectors that lie in a slowly changing low-dimensional subspace, while being robust to corruption by additive sparse outliers. It can also be interpreted as a dynamic (time-varying) extension of robust PCA (RPCA), with the minor difference that RST also requires a short tracking delay. We develop a recursive projected compressive sensing algorithm that we call Nearly Optimal RST via ReProCS (ReProCS-NORST) because its tracking delay is nearly optimal. We prove that NORST solves both the RST and the dynamic RPCA problems under weakened standard RPCA assumptions, two simple extra assumptions (slow subspace change and most outlier magnitudes lower bounded), and a few minor assumptions. Our guarantee shows that NORST enjoys a near optimal tracking delay of $O(r \log n \log(1/\epsilon))$. Its required delay between subspace change times is the same, and its memory complexity is $n$ times this value. Thus both these are also nearly optimal. Here $n$ is the ambient space dimension, $r$ is the subspaces' dimension, and $\epsilon$ is the tracking accuracy. NORST also has the best outlier tolerance compared with all previous RPCA or RST methods, both theoretically and empirically (including for real videos), without requiring any model on how the outlier support is generated. This is possible because of the extra assumptions it uses.

研究动机与目标

• 在现实假设下，为鲁棒子空间追踪（RST）问题提供可证明的保证。
• 将鲁棒主成分分析（RPCA）扩展至时变子空间，实现最小追踪延迟。
• 在保持高异常值容忍度的同时，实现接近最优的延迟和内存复杂度。
• 开发一种对稀疏、任意异常值具有鲁棒性的方法，且无需对异常值支持生成施加假设。
• 在温和且自然的条件下，为 RST 和动态 RPCA 提供理论保证。

提出的方法

• 提出 ReProCS-NORST，一种专为具有低秩结构的序列数据设计的递归投影压缩感知算法。
• 采用递归估计框架，将测量值投影到动态更新的低秩子空间上。
• 结合压缩感知原理，在每个时间步从残差信号中恢复稀疏异常值。
• 通过利用时间相干性和子空间持续性，实现接近最优的追踪延迟。
• 依赖于子空间变化缓慢和异常值幅值有下界等假设，以确保稳定恢复。
• 保持内存复杂度与 $n \cdot O(r \log n \log(1/\epsilon))$ 成正比，该复杂度接近最优。

实验结果

研究问题

• RQ1 能否设计一种鲁棒子空间追踪算法，在保持高异常值容忍度的同时实现接近最优的追踪延迟？
• RQ2 子空间变化缓慢和异常值幅值有界等假设如何影响动态环境中恢复性能？
• RQ3 在稀疏污染条件下，稳定且准确追踪时变子空间所需的最小延迟是多少？
• RQ4 该方法能否在无需建模异常值支持的情况下，理论上和实证上均优于现有 RPCA 和 RST 技术？
• RQ5 此类方法的内存复杂度是多少，是否接近最优？

主要发现

• ReProCS-NORST 实现了 $O(r \log n \log(1/\epsilon))$ 的追踪延迟，这是 RST 问题的接近最优值。
• 内存复杂度为 $n$ 倍的追踪延迟，同样在给定假设下接近最优。
• 该方法在弱化的标准 RPCA 假设下，为鲁棒子空间追踪和动态 RPCA 提供了可证明的保证。
• 在无需对异常值支持生成建模的前提下，该方法在理论和实证上均实现了现有 RPCA 和 RST 方法中最佳的异常值容忍度。
• 在子空间缓慢变化和异常值幅值有界条件下，该算法保持了稳定性和准确性，实现在真实视频数据上的鲁棒性能。
• 理论框架表明，子空间变化缓慢与异常值幅值有下界相结合，可实现接近最优的性能。