[论文解读] Rethinking Image Deraining via Rain Streaks and Vapors

Yinglong Wang, Yibing Song+2 more|arXiv (Cornell University)|Aug 3, 2020

Image Enhancement Techniques参考文献 28被引用 6

一句话总结

本文提出了一种新颖的深度学习框架，通过将雨痕和水汽视为透射介质而非背景成分，重新思考图像去雨问题。该框架引入SNet，利用ShuffleNet单元学习各向异性的特征表示以预测雨痕透射图；VNet结合空间金字塔池化（SPP）从雨痕中建模水汽；ANet则用于大气光估计。三者联合训练，在基准数据集上实现了当前最优的去雨性能。

ABSTRACT

Single image deraining regards an input image as a fusion of a background image, a transmission map, rain streaks, and atmosphere light. While advanced models are proposed for image restoration (i.e., background image generation), they regard rain streaks with the same properties as background rather than transmission medium. As vapors (i.e., rain streaks accumulation or fog-like rain) are conveyed in the transmission map to model the veiling effect, the fusion of rain streaks and vapors do not naturally reflect the rain image formation. In this work, we reformulate rain streaks as transmission medium together with vapors to model rain imaging. We propose an encoder-decoder CNN named as SNet to learn the transmission map of rain streaks. As rain streaks appear with various shapes and directions, we use ShuffleNet units within SNet to capture their anisotropic representations. As vapors are brought by rain streaks, we propose a VNet containing spatial pyramid pooling (SSP) to predict the transmission map of vapors in multi-scales based on that of rain streaks. Meanwhile, we use an encoder CNN named ANet to estimate atmosphere light. The SNet, VNet, and ANet are jointly trained to predict transmission maps and atmosphere light for rain image restoration. Extensive experiments on the benchmark datasets demonstrate the effectiveness of the proposed visual model to predict rain streaks and vapors. The proposed deraining method performs favorably against state-of-the-art deraining approaches.

研究动机与目标

• 解决现有去雨方法将雨痕视为背景一部分所导致的在强降雨条件下性能不佳的问题。
• 通过将雨痕和水汽重新定义为透射介质，更准确地建模二者之间的纠缠关系。
• 通过联合学习雨痕和水汽的透射图以及大气光估计，提升去雨质量。
• 通过显式建模雨天图像的物理形成过程，在基准数据集上实现更优的视觉质量与定量性能。

提出的方法

• 将雨天图像形成过程重新表述为 I = (Ts + Tv) ⊙ J + (1 - Ts - Tv) ⊙ A，其中 Ts 和 Tv 分别为雨痕和水汽的透射图。
• 提出SNet，一种基于ShuffleNet单元的编码-解码卷积神经网络，用于学习雨痕的各向异性表征并预测 Ts。
• 设计VNet，结合空间金字塔池化（SPP），基于输入 I 和预测的 Ts 在多尺度上预测 Tv。
• 引入ANet，一种专用的编码器卷积神经网络，用于估计大气光 A，其在低透射率条件下进行预训练。
• 端到端联合训练SNet、VNet与ANet，以优化透射图与大气光，实现高保真度背景恢复。
• 使用逐元素乘法与特征拼接操作，建模背景、雨痕、水汽与大气光之间的物理相互作用。

实验结果

研究问题

• RQ1 如何在图像形成过程中更准确地建模雨痕与水汽，以提升去雨性能？
• RQ2 何种网络架构最能有效捕捉强降雨条件下雨痕的各向异性和方向性特征？
• RQ3 将水汽作为独立的透射介质建模，是否能相比将其视为背景一部分而提升重建质量？
• RQ4 透射图预测与大气光估计的联合训练如何影响去雨结果？
• RQ5 引入多尺度空间金字塔池化在多大程度上提升了水汽效应的建模能力？

主要发现

• 在Rain-II数据集上，该方法相比SPANet实现了约4 dB的PSNR提升，证明了其优越的定量性能。
• 在所有三个基准数据集（Rain-I、Rain-II、Rain-III）上，该方法均取得了最低的Fréchet Inception Distance（FID）分数，表明其生成结果与真实图像具有更高的感知相似性。
• 与仅使用预训练组件的训练方式相比，SNet、VNet与ANet的联合训练显著提升了去雨质量，尤其在去除雾霾和保留细节方面表现更优。
• 视觉结果表明，该方法能有效去除雨痕与水汽，即使在现有方法无法完全清除雨痕或引入色彩失真的强降雨条件下依然表现良好。
• 消融实验证实，通过VNet建模水汽可减少雾霾与块状伪影，而联合训练则进一步提升了整体重建保真度。
• 如表4所示，该方法的推理时间高效，表明其具备实际应用潜力。