[论文解读] Smooth Robust Tensor Completion for Background/Foreground Separation with Missing Pixels: Novel Algorithm with Convergence Guarantee

Bo Shen, Weijun Xie+1 more|arXiv (Cornell University)|Mar 29, 2022

Image Enhancement Techniques被引用 9

一句话总结

本文提出了一种平滑鲁棒张量补全（SRTC）模型，通过利用低秩和稀疏张量结构，联合恢复缺失像素并分离视频序列中的背景与前景。采用具有全局收敛性保证的张量邻近交替最小化（tenPAM）算法，该方法在处理存在缺失数据的真实世界视频时，优于当前最先进的方法。

ABSTRACT

The objective of this study is to address the problem of background/foreground separation with missing pixels by combining the video acquisition, video recovery, background/foreground separation into a single framework. To achieve this, a smooth robust tensor completion (SRTC) model is proposed to recover the data and decompose it into the static background and smooth foreground, respectively. Specifically, the static background is modeled by the low-rank tucker decomposition and the smooth foreground (moving objects) is modeled by the spatiotemporal continuity, which is enforced by the total variation regularization. An efficient algorithm based on tensor proximal alternating minimization (tenPAM) is implemented to solve the proposed model with global convergence guarantee under very mild conditions. Extensive experiments on real data demonstrate that the proposed method significantly outperforms the state-of-the-art approaches for background/foreground separation with missing pixels.

研究动机与目标

• 解决真实世界视频采集中常见的缺失像素导致的背景/前景分离挑战。
• 克服传统RPCA和RTPCA在分解过程中无法处理缺失数据的局限性。
• 将视频恢复与背景/前景分离统一于单一优化框架中，以提升鲁棒性与准确性。
• 在较弱条件下确保解算法的全局收敛性，以保证可靠性能。
• 利用时空连续性与低秩结构，有效建模静态背景与平滑运动前景。

提出的方法

• 构建一种平滑鲁棒张量补全（SRTC）模型，联合恢复缺失像素，并将张量分解为低秩（背景）与稀疏（前景）分量。
• 引入总变差（TV）正则化，以在前景分量中强制实现时空平滑性。
• 使用张量核范数（TNN）促进背景分量中的低秩结构。
• 开发基于张量邻近交替最小化（tenPAM）的高效优化算法，以求解非凸SRTC模型。
• 采用交替最小化与邻近更新策略，处理目标函数中的非光滑与非凸项。
• 在较弱条件下建立tenPAM算法的全局收敛性，确保优化过程稳定可靠。

实验结果

研究问题

• RQ1 是否能够通过统一框架联合恢复缺失像素并分离视频序列中的背景与前景？
• RQ2 如何有效建模时空连续性与低秩结构，以提升对缺失数据的鲁棒性？
• RQ3 所提出的tenPAM算法是否在较弱假设下对非凸SRTC模型实现全局收敛？
• RQ4 在含缺失像素的真实世界视频数据上，SRTC模型与当前最先进方法相比，在准确率与鲁棒性方面表现如何？
• RQ5 在前景分量中引入平滑性正则化在多大程度上提升了分离性能？

主要发现

• 所提出的SRTC模型在含缺失像素的真实世界视频数据集上，显著优于当前最先进的背景/前景分离方法。
• tenPAM算法在较弱条件下实现全局收敛，确保了优化的可靠与稳定。
• 引入总变差正则化有效提升了前景的平滑性，并增强了分离准确率。
• 该方法在同时恢复缺失像素与将视频分解为背景和前景分量方面表现出色。
• 实验结果表明，该方法在重建准确率与前景检测质量两方面均表现卓越。
• 该框架成功处理了含缺失像素的真实世界视频数据，验证了其鲁棒性与实际适用性。