[论文解读] Robust Optical Flow Estimation in Rainy Scenes

Ruoteng Li, Robby T. Tan+1 more|arXiv (Cornell University)|Apr 18, 2017

Image Enhancement Techniques参考文献 18被引用 13

一句话总结

该论文提出了一种新颖的雨天场景光流方法，通过残差通道和图像层分解来处理雨痕和雨水积聚效应。通过仅在分段平滑的背景层上强制执行亮度恒定性，并利用雨滴辐射中RGB通道的对称性，该方法在合成和真实雨天数据集上均实现了卓越的准确性，优于采用或不采用去雨预处理的最先进基线方法。

ABSTRACT

Optical flow estimation in the rainy scenes is challenging due to background degradation introduced by rain streaks and rain accumulation effects in the scene. Rain accumulation effect refers to poor visibility of remote objects due to the intense rainfall. Most existing optical flow methods are erroneous when applied to rain sequences because the conventional brightness constancy constraint (BCC) and gradient constancy constraint (GCC) generally break down in this situation. Based on the observation that the RGB color channels receive raindrop radiance equally, we introduce a residue channel as a new data constraint to reduce the effect of rain streaks. To handle rain accumulation, our method decomposes the image into a piecewise-smooth background layer and a high-frequency detail layer. It also enforces the BCC on the background layer only. Results on both synthetic dataset and real images show that our algorithm outperforms existing methods on different types of rain sequences. To our knowledge, this is the first optical flow method specifically dealing with rain.

研究动机与目标

• 为解决雨天户外场景中传统约束因动态雨痕和能见度下降而失效，导致鲁棒光流估计方法缺乏的问题。
• 通过引入残差通道，利用雨滴辐射中RGB通道的对称性，减少雨痕的影响。
• 通过将图像分解为平滑背景层和高频细节层，减轻雨积聚效应，仅在前者上强制执行亮度恒定性约束。
• 开发一个新的真实降雨光流数据集用于基准测试与评估，因为此前尚无此类数据集。
• 在不依赖去雨预处理的前提下，实现在雨天条件下准确且一致的光流估计，避免预处理引入伪影。

提出的方法

• 引入一种残差通道，通过最大与最小RGB通道的差值计算，利用雨滴在各通道中辐射相等的特性，减少雨痕对光流估计的影响。
• 应用图像分解技术，将每帧图像分离为分段平滑的背景层和高频细节层，将雨滴和噪声与结构内容隔离。
• 仅在背景层上强制执行亮度恒定性约束（BCC），确保光流估计基于稳定且结构化的信息。
• 采用变分优化框架，联合估计光流与图像分解，通过正则化保持运动边界并减少噪声。
• 在优化过程中采用鲁棒统计方法，以处理残余雨滴和图像退化引起的异常值。
• 在新的真实降雨光流数据集（FVR）和合成雨天序列上进行训练与评估，验证方法在多种条件下的性能。

实验结果

研究问题

• RQ1 基于RGB通道差异生成的残差通道是否能有效降低雨痕对光流估计的影响？
• RQ2 将图像分解为背景层与细节层是否能在雨积聚和低对比度条件下提升光流估计的准确性？
• RQ3 能否在不依赖去雨预处理（常引入伪影）的前提下，使光流估计对强降雨具备鲁棒性？
• RQ4 当在干净数据上训练但在雨天序列上测试时，所提方法与最先进光流模型相比表现如何？
• RQ5 在真实世界雨天场景中，当缺乏真实光流时，该方法是否仍具有效性？

主要发现

• 在静态雨天场景中，该方法的平均光流幅值仅为0.000195像素，有效检测到零运动，而基线方法因雨滴运动产生错误光流。
• 在FVR真实雨天数据集上，该方法优于所有基线方法，包括使用去雨预处理的方法，证明其在不引入伪影的前提下具备强鲁棒性。
• 定性结果表明，该方法生成的背景光流场清晰，运动边界锐利，而FlowNetS-rain则表现出“彩色”背景噪声和模糊边缘。
• 尽管舍弃了精细纹理细节，该方法在干净数据集上仍保持强劲性能，表明其具备良好的泛化能力。
• 在雨天影响区域显著减少了错误光流，同时准确保留了运动物体的运动估计，如单物体运动的真实雨天序列所示。
• 新构建的FVR数据集为雨天场景光流评估提供了可靠基准，该方法在此数据集上树立了新的SOTA基准。