[论文解读] Video Rain/Snow Removal by Transformed Online Multiscale Convolutional Sparse Coding

Minghan Li, Xiangyong Cao+4 more|arXiv (Cornell University)|Sep 13, 2019

Image Enhancement Techniques被引用 6

一句话总结

该论文提出了一种在线多尺度卷积稀疏编码方法（OTMS-CSC），通过实时参数自适应，联合建模监控视频中的动态雨雪与背景变换。该方法在视觉质量和定量指标上均达到最先进水平，且推理速度显著快于离线方法，适用于实时流媒体视频处理。

ABSTRACT

Video rain/snow removal from surveillance videos is an important task in the computer vision community since rain/snow existed in videos can severely degenerate the performance of many surveillance system. Various methods have been investigated extensively, but most only consider consistent rain/snow under stable background scenes. Rain/snow captured from practical surveillance camera, however, is always highly dynamic in time with the background scene transformed occasionally. To this issue, this paper proposes a novel rain/snow removal approach, which fully considers dynamic statistics of both rain/snow and background scenes taken from a video sequence. Specifically, the rain/snow is encoded as an online multi-scale convolutional sparse coding (OMS-CSC) model, which not only finely delivers the sparse scattering and multi-scale shapes of real rain/snow, but also well encodes their temporally dynamic configurations by real-time ameliorated parameters in the model. Furthermore, a transformation operator imposed on the background scenes is further embedded into the proposed model, which finely conveys the dynamic background transformations, such as rotations, scalings and distortions, inevitably existed in a real video sequence. The approach so constructed can naturally better adapt to the dynamic rain/snow as well as background changes, and also suitable to deal with the streaming video attributed its online learning mode. The proposed model is formulated in a concise maximum a posterior (MAP) framework and is readily solved by the ADMM algorithm. Compared with the state-of-the-art online and offline video rain/snow removal methods, the proposed method achieves better performance on synthetic and real videos datasets both visually and quantitatively. Specifically, our method can be implemented in relatively high efficiency, showing its potential to real-time video rain/snow removal.

研究动机与目标

• 为解决现有视频去雨/去雪方法假设雨雪静态且背景固定的问题，这些假设无法反映真实世界中的动态条件。
• 开发一种能够处理随时间变化的雨雪模式以及旋转、缩放和形变等背景变换的方法，适用于真实监控视频。
• 通过在线学习框架实现高效、实时处理流媒体视频序列，确保每帧的计算和内存开销恒定。
• 通过引入雨雪与场景变化的动态统计建模，提升雨雪层分离和背景恢复的准确性。

提出的方法

• 该方法采用在线多尺度卷积稀疏编码（OMS-CSC）框架对雨雪进行建模，实时自适应更新参数，以捕捉雨雪模式的时间变化。
• 在背景建模中嵌入变换算子，以应对相机抖动等动态场景变化，实现帧间背景结构的对齐。
• 该方法在最大后验概率（MAP）优化框架下进行公式化，利用ADMM算法高效求解，确保收敛性和可扩展性。
• 模型在多尺度上学习雨雪的稀疏表示，捕捉其在视频序列中的多尺度形态与稀疏空间分布特征。
• 在线学习机制确保每帧的计算与内存开销恒定，适用于长时或连续的视频流，具备良好的可扩展性。
• 通过联合优化雨雪的稀疏性与背景的结构一致性，将视频分离为雨雪层、背景层和重建层。

实验结果

研究问题

• RQ1 在雨雪模式随时间动态变化的情况下，如何提升视频去雨/去雪的效果？
• RQ2 在真实监控视频中，对旋转、缩放和形变等背景变换的建模程度在多大程度上能提升分离精度？
• RQ3 能否设计一种在线学习框架，以保持高效率与可扩展性，实现对流媒体视频序列的实时处理？
• RQ4 与假设静态条件的方法相比，联合建模动态雨雪与背景变化在视觉与定量性能上的表现如何？

主要发现

• 所提出的OTMS-CSC方法在复杂场景（如动态背景与变化的降水强度）下，去雨去雪的视觉质量显著优于现有方法。
• 在合成数据集与真实世界视频数据集上，OTMS-CSC在PSNR与SSIM等定量指标上均优于最先进离线与在线方法，尤其在挑战性场景中表现突出。
• 该方法展现出显著的速度优势，静态视频平均每帧推理时间为0.96秒，动态视频为1.36秒，远快于基线方法。
• 在线实现确保了线性时间复杂度与恒定内存使用，具备良好的可扩展性，适用于实时流媒体视频应用。
• 在快速运动、光照变化或低能见度条件（如雪地背景上的轻雪）下，OTMS-CSC保持鲁棒性能，优于忽略背景变换的方法。
• 视觉对比显示，OTMS-CSC能有效分离雨雪层，避免背景边缘混叠，而其他方法常残留条纹或失真。