[论文解读] Unsupervised Single Image Deraining with Self-supervised Constraints

Xin Jin, Zhibo Chen+3 more|arXiv (Cornell University)|Nov 21, 2018

Image Enhancement Techniques参考文献 46被引用 8

一句话总结

该论文提出UD-GAN，一种无监督单图去雨方法，利用未配对的真实雨天图像与干净图像的自监督约束，克服了监督方法的局限性。通过引入雨滴引导模块（RGM）、背景引导模块（BGM）以及亮度调节对抗损失，UD-GAN在无需配对训练数据的情况下，在合成数据集和真实世界数据集上均实现了最先进性能。

ABSTRACT

Most existing single image deraining methods require learning supervised models from a large set of paired synthetic training data, which limits their generality, scalability and practicality in real-world multimedia applications. Besides, due to lack of labeled-supervised constraints, directly applying existing unsupervised frameworks to the image deraining task will suffer from low-quality recovery. Therefore, we propose an Unsupervised Deraining Generative Adversarial Network (UD-GAN) to tackle above problems by introducing self-supervised constraints from the intrinsic statistics of unpaired rainy and clean images. Specifically, we firstly design two collaboratively optimized modules, namely Rain Guidance Module (RGM) and Background Guidance Module (BGM), to take full advantage of rainy image characteristics: The RGM is designed to discriminate real rainy images from fake rainy images which are created based on outputs of the generator with BGM. Simultaneously, the BGM exploits a hierarchical Gaussian-Blur gradient error to ensure background consistency between rainy input and de-rained output. Secondly, a novel luminance-adjusting adversarial loss is integrated into the clean image discriminator considering the built-in luminance difference between real clean images and derained images. Comprehensive experiment results on various benchmarking datasets and different training settings show that UD-GAN outperforms existing image deraining methods in both quantitative and qualitative comparisons.

研究动机与目标

• 解决在合成配对数据上训练的监督去雨模型所面临的泛化性与可扩展性问题。
• 通过引入源自图像内在统计特性的自监督约束，克服无监督学习中的欠约束问题。
• 通过建模雨痕的多样性与背景的一致性，提升无监督去雨的质量。
• 实现在真实世界场景中无需依赖配对合成数据的去雨模型实用化部署。
• 展示该方法在其他低层次视觉任务（如图像去噪与动作识别）中的泛化能力。

提出的方法

• 提出一种端到端的无监督去雨生成对抗网络（UD-GAN），在未配对的真实雨天图像与干净图像上进行训练。
• 引入雨滴引导模块（RGM），约束雨天输入与去雨输出之间的差异，确保雨痕去除的合理性。
• 采用基于分层高斯模糊梯度误差的背景引导模块（BGM），以保持背景一致性。
• 在干净图像判别器中引入亮度调节对抗损失，以校正真实干净图像与去雨输出之间的亮度差异。
• 使用轻量级雨痕添加生成器，防止训练过程中出现风格与色彩偏移。
• 利用源自未配对数据内在统计特性的自监督信号指导训练，无需真实标签监督。

实验结果

研究问题

• RQ1 未配对的真实雨天图像与干净图像中的自监督约束，能否在无配对训练数据的情况下有效引导无监督去雨？
• RQ2 模型如何处理不同场景中雨痕（方向、形状、密度）的高多样性？
• RQ3 通过专用模块是否可提升无监督去雨中背景一致性和亮度真实感？
• RQ4 所提方法是否可泛化至其他低层次图像恢复任务？
• RQ5 在真实世界与合成基准上，该模型与监督及无监督基线相比，在定量与定性指标上表现如何？

主要发现

• UD-GAN在Rain800、Rain12、Rain100L与Rain100H数据集上均达到最先进性能，相较于消融基线，在Rain800、Rain12、Rain100L与Rain100H上的PSNR分别提升2.40 dB、1.13 dB、0.91 dB与0.21 dB。
• 用户评估显示，UD-GAN在真实世界测试中获得120票中的101票，主观偏好上显著优于其他方法，在清晰度与伪影最小化方面表现更优。
• 完整版UD-GAN模型每张512×512图像的平均推理时间为0.25秒，与其它实时方法相当。
• 消融实验表明，移除RGM、BGM或亮度调节损失均导致性能显著下降，验证了各模块的独立贡献。
• UD-GAN在其他任务上泛化良好：在BSD68数据集上，对于σ=15、25与50的噪声水平，SSIM得分分别为0.8822、0.8198与0.7088，与或超过DnCNN的性能表现。
• 定性结果表明，RGM可减少残留雨痕，BGM可增强纹理丰富度，亮度调节可提升视觉自然感。