[论文解读] Unsupervised Deep Context Prediction for Background Foreground Separation

M. Sultana, Arif Mahmood+2 more|arXiv (Cornell University)|May 21, 2018

Video Surveillance and Tracking Methods参考文献 38被引用 3

一句话总结

本文提出深度上下文预测（DCP），一种基于生成对抗网络（GAN）的无监督方法，通过上下文预测与图像修复实现背景估计和前景分割。通过利用密集光流检测运动物体，将其移除以生成缺失区域，并训练一个卷积神经网络编码器-解码器模型来预测上下文并填补空缺，DCP在SBM.net和CDnet2014数据集上实现了最先进性能，尤其在恶劣天气和热成像等挑战性条件下表现优异。

ABSTRACT

In many advanced video based applications background modeling is a pre-processing step to eliminate redundant data, for instance in tracking or video surveillance applications. Over the past years background subtraction is usually based on low level or hand-crafted features such as raw color components, gradients, or local binary patterns. The background subtraction algorithms performance suffer in the presence of various challenges such as dynamic backgrounds, photometric variations, camera jitters, and shadows. To handle these challenges for the purpose of accurate background modeling we propose a unified framework based on the algorithm of image inpainting. It is an unsupervised visual feature learning hybrid Generative Adversarial algorithm based on context prediction. We have also presented the solution of random region inpainting by the fusion of center region inpaiting and random region inpainting with the help of poisson blending technique. Furthermore we also evaluated foreground object detection with the fusion of our proposed method and morphological operations. The comparison of our proposed method with 12 state-of-the-art methods shows its stability in the application of background estimation and foreground detection.

研究动机与目标

• 解决传统背景建模方法依赖手工设计特征、在动态背景、光照变化和相机抖动条件下性能下降的局限性。
• 克服在监控与跟踪应用中常见的复杂场景（如动态背景、阴影和光度变化）下性能下降的问题。
• 开发一种无监督深度学习框架，实现无需标注训练数据的准确背景初始化。
• 将上下文预测与语义修复及泊松混合技术结合，以处理任意形状区域的修复，并提升纹理真实感。
• 在多种视频类别中实现鲁棒性能，包括恶劣天气和热成像等现有方法失效的挑战性类别。

提出的方法

• 利用密集光流提取时间运动信息，并生成运动掩码以识别快速移动的前景物体。
• 从视频帧中移除检测到的前景物体，以生成缺失的图像区域，模拟图像修复任务中的损坏输入。
• 训练一个基于CNN的编码器-解码器网络（受自编码器启发），利用全局上下文和局部纹理约束来预测缺失的图像内容。
• 采用混合GAN框架，结合对抗损失与重建损失，以提升修复区域的结构一致性和真实感。
• 先进行中心区域修复，再结合泊松混合技术，将方法扩展至不规则形状的缺失区域。
• 在GAN生成结果后集成语义修复网络，以优化纹理细节并提升重建背景的视觉质量。

实验结果

研究问题

• RQ1 基于上下文预测与GAN的无监督深度学习方法，是否能在恶劣条件下优于依赖手工特征的传统背景估计方法？
• RQ2 所提出的DCP框架在处理动态背景、相机抖动和光度变化等复杂场景时效果如何？
• RQ3 中心区域修复与泊松混合技术的结合，在提升任意区域修复质量方面有多大改善？
• RQ4 DCP方法在SBM.net和CDnet2014等基准数据集上的表现如何，特别是在恶劣天气和热成像等挑战类别中？
• RQ5 所提方法能否在场景复杂度与背景同质性各异的多样化视频类别中实现良好泛化？

主要发现

• 在SBM.net数据集上，DCP优于六种现有背景估计方法，所有类别中平均灰度误差（AGE）最低，包括“间歇性物体运动”和“抖动”类别。
• 在CDnet2014的“恶劣天气”类别中，DCP表现最佳，视觉结果表明即使在大雪和暴风雪条件下也能实现准确的背景估计。
• 在“热成像”类别中，DCP展现出卓越的鲁棒性，成功处理了热反射和伪装效应等热成像伪影，而其他方法均失败。
• DCP在CDnet2014上的前景分割性能显著提升，平均优于六种现有分割算法。
• 在大型不规则形状前景物体和复杂背景结构的场景中观察到失败案例，修复精度下降，尤其在“间歇性运动”类别中AGE得分最高。
• 在中心区域修复后使用泊松混合技术，有效提升了非矩形缺失区域的视觉一致性。