[论文解读] Nearly Optimal Robust Subspace Tracking

Praneeth Narayanamurthy, Namrata Vaswani|arXiv (Cornell University)|Dec 17, 2017

Sparse and Compressive Sensing Techniques被引用 15

一句话总结

该论文提出 ReProCS-NORST，一种用于鲁棒子空间追踪（RST）的递归投影压缩感知算法，实现了接近最优的追踪延迟 O(r log n log(1/ϵ)) 和最优的内存复杂度。它在弱化的 RPCA 假设下首次提供了 RST 的可证明保证，由于两个关键假设（子空间缓慢变化和异常值幅度有下界），实现了更高的异常值容忍度。

ABSTRACT

In this work, we study the robust subspace tracking (RST) problem and obtain one of the first two provable guarantees for it. The goal of RST is to track sequentially arriving data vectors that lie in a slowly changing low-dimensional subspace, while being robust to corruption by additive sparse outliers. It can also be interpreted as a dynamic (time-varying) extension of robust PCA (RPCA), with the minor difference that RST also requires a short tracking delay. We develop a recursive projected compressive sensing algorithm that we call Nearly Optimal RST via ReProCS (ReProCS-NORST) because its tracking delay is nearly optimal. We prove that NORST solves both the RST and the dynamic RPCA problems under weakened standard RPCA assumptions, two simple extra assumptions (slow subspace change and most outlier magnitudes lower bounded), and a few minor assumptions. Our guarantee shows that NORST enjoys a near optimal tracking delay of $O(r \log n \log(1/ε))$. Its required delay between subspace change times is the same, and its memory complexity is $n$ times this value. Thus both these are also nearly optimal. Here $n$ is the ambient space dimension, $r$ is the subspaces' dimension, and $ε$ is the tracking accuracy. NORST also has the best outlier tolerance compared with all previous RPCA or RST methods, both theoretically and empirically (including for real videos), without requiring any model on how the outlier support is generated. This is possible because of the extra assumptions it uses.

研究动机与目标

• 解决在存在稀疏、任意异常值的情况下，以最小延迟追踪缓慢变化的低维子空间的挑战。
• 开发一种递归算法，实现鲁棒子空间追踪中可证明的近乎最优追踪延迟和内存复杂度。
• 将鲁棒 PCA（RPCA）扩展至具有实时估计需求的动态、时变场景。
• 在不依赖异常值支持生成假设的前提下，提升对异常值的容忍度，优于以往的 RPCA 和 RST 方法。

提出的方法

• 提出 ReProCS-NORST，一种专为实时鲁棒子空间追踪设计的递归投影压缩感知算法。
• 采用递归更新策略，利用历史估计和压缩感知原理，恢复低秩与稀疏分量。
• 使用子空间误差度量 SE(P1, P2) = ∥(I − P1P1′)P2∥ 来衡量子空间之间的距离。
• 引入延迟模型，其中追踪延迟为 O(r log n log(1/ϵ))，接近该问题的最优值。
• 依赖两个关键假设：子空间缓慢变化和异常值幅度有下界，以确保恢复成功。
• 采用基矩阵表示和正交投影，以在时间上保持子空间估计的稳定性。

实验结果

研究问题

• RQ1 是否能够实现具有可证明近乎最优延迟和内存复杂度的鲁棒子空间追踪？
• RQ2 ReProCS-NORST 在异常值容忍度和恢复精度方面与现有 RPCA 和 RST 方法相比表现如何？
• RQ3 在动态、时变子空间追踪中实现可证明恢复，需要哪些假设？
• RQ4 该算法能否处理具有复杂前景动态和与背景颜色相似性的实际视频数据？
• RQ5 异常值幅度的下界对恢复性能有何影响？

主要发现

• ReProCS-NORST 实现了 O(r log n log(1/ϵ)) 的追踪延迟，接近最优，且与子空间变化所需延迟一致。
• 该算法实现了 n 倍追踪延迟的最优内存复杂度，同样接近最优。
• 它首次在弱化标准 RPCA 假设以及两个附加假设（子空间缓慢变化和异常值幅度有下界）下，为鲁棒子空间追踪提供了可证明的保证。
• NORST 在异常值容忍度方面显著优于 AltProj 和其他 RPCA 方法，尤其在异常值幅度远离零时表现更优。
• 在 MR 和 Lobby 数据集的真实视频实验中，NORST 分别实现了 43 fps 和 16 fps 的处理速率，且前景与背景分离效果更优。
• 数值结果表明，当异常值幅度过小（如 xmin = 5）时，NORST 才会失败，证实了下界假设的必要性。