[论文解读] ReProCS: A Missing Link between Recursive Robust PCA and Recursive Sparse Recovery in Large but Correlated Noise

Chenlu Qiu, Namrata Vaswani|arXiv (Cornell University)|Jun 16, 2011

Sparse and Compressive Sensing Techniques参考文献 32被引用 37

一句话总结

本文提出 ReProCS，一种用于鲁棒主成分分析的递归算法，将相关稀疏异常值（例如视频中的运动物体）视为感兴趣的信号。通过利用异常值支持的时序相关性，基于卡尔曼滤波器的支持预测，该方法将问题建模为支持预测的改进压缩感知问题，从而在存在大规模、相关性噪声且具有低秩结构的情况下，实现稳定、实时的稀疏信号恢复。

ABSTRACT

This work studies the recursive robust principal components' analysis (PCA) problem. Here, "robust" refers to robustness to both independent and correlated sparse outliers, although we focus on the latter. A key application where this problem occurs is in video surveillance where the goal is to separate a slowly changing background from moving foreground objects on-the-fly. The background sequence is well modeled as lying in a low dimensional subspace, that can gradually change over time, while the moving foreground objects constitute the correlated sparse outliers. In this and many other applications, the foreground is an outlier for PCA but is actually the "signal of interest" for the application; where as the background is the corruption or noise. Thus our problem can also be interpreted as one of recursively recovering a time sequence of sparse signals in the presence of large but spatially correlated noise. This work has two key contributions. First, we provide a new way of looking at this problem and show how a key part of our solution strategy involves solving a noisy compressive sensing (CS) problem. Second, we show how we can utilize the correlation of the outliers to our advantage in order to even deal with very large support sized outliers. The main idea is as follows. The correlation model applied to the previous support estimate helps predict the current support. This prediction serves as "partial support knowledge" for solving the modified-CS problem instead of CS. The support estimate of the modified-CS reconstruction is, in turn, used to update the correlation model parameters using a Kalman filter (or any adaptive filter). We call the resulting approach "support-predicted modified-CS".

研究动机与目标

• 解决在视频监控和 fMRI 分析中常见的大规模、时序和空间相关稀疏异常值存在下的递归鲁棒主成分分析挑战。
• 将问题重新表述为在低秩噪声污染下对时变稀疏信号的递归恢复，其中稀疏信号为关注目标，低秩分量为背景或噪声。
• 开发一种方法，利用稀疏异常值支持的时序相关性，以超越标准压缩感知的性能提升恢复效果。
• 通过引入动态支持预测和自适应滤波，实现稳定、实时的信号恢复，并保证有界误差。
• 提供一个理论与算法框架，连接递归鲁棒主成分分析与在相关噪声条件下递归稀疏恢复的问题。

提出的方法

• 将稀疏异常值向量 $ S_t $ 建模为具有时变支持 $ T_t $，其中支持的变化由包含新增成分（$ \mathcal{A}_t $）、衰减成分（$ \mathcal{D}_t $）和持续成分（$ \mathcal{E}_t $）的生成模型控制。
• 使用一阶自回归（AR-1）模型描述稀疏信号向量 $ x_t $ 的演化过程，其中 $ x_t = F_t x_{t-1} + \nu_t $，且 $ \nu_t \sim \mathcal{N}(0, Q_t) $，以捕捉时间相关性。
• 应用卡尔曼滤波器递归估计并更新支持相关模型的参数，利用历史支持估计作为当前支持的预测。
• 将改进压缩感知（modified-CS）问题公式化，其中来自卡尔曼滤波器的预测支持作为部分先验知识，以提高重建精度。
• 通过随时间累积 $ L_t = M_t - S_t $，将支持预测的改进压缩感知与递归低秩子空间估计相结合，以更新背景子空间 $ \hat{P}_t $。
• 采用低秩模型 $ L_t = U x_t $，其中 $ U $ 为正交矩阵，$ x_t $ 为支持缓慢变化的稀疏向量，以表示背景为低秩、时变分量。

实验结果

研究问题

• RQ1 能否利用稀疏异常值支持的时序相关性，以提升在大规模相关噪声下稀疏信号的递归恢复性能？
• RQ2 如何将基于卡尔曼滤波器的支持预测整合进改进压缩感知框架，以增强重建精度与稳定性？
• RQ3 在何种条件下，支持预测的改进压缩感知方法能在递归稀疏恢复中实现稳定、有界误差？
• RQ4 所提方法能否有效分离视频监控中缓慢变化的背景与运动的前景，同时将前景视为关注信号？
• RQ5 在相关稀疏异常值模型下，ReProCS 的性能与标准递归鲁棒主成分分析和压缩感知方法相比如何？

主要发现

• 在所提出的相关性模型下，支持预测的改进压缩感知框架实现了稀疏信号的稳定恢复，且误差保持时不变、有界。
• 基于卡尔曼滤波器的支持预测显著提升了重建精度，尤其在异常值支持具有时间相关性时效果更明显。
• 通过利用支持结构中的时序相关性，该算法即使在异常值支持规模较大时，也能实现实时、递归的稀疏信号恢复。
• 模型表明支持变化以突发形式发生（每 $ d $ 帧一次），包括新增成分和旧成分的衰减，这与真实视频和 fMRI 数据的动力学特性一致。
• 理论分析表明，新成分 $ (x_t)_{\mathcal{A}_{jd}} $ 的方差在短时间内 $ \Delta_d \ll d $ 内收敛至 $ \Sigma_{\mathcal{A}_{jd}} $，确保了信号增长的稳定性。
• 衰减成分 $ \mathcal{D}_t $ 的衰减被证明呈指数趋近于零，验证了在短暂瞬态期后可安全忽略衰减成分的假设。