[论文解读] Structure-Preserving Deraining with Residue Channel Prior Guidance

Qiaosi Yi, Juncheng Li+4 more|arXiv (Cornell University)|Aug 20, 2021

Image Enhancement Techniques参考文献 47被引用 5

一句话总结

本文提出SPDNet，一种结构保持型去雨网络，通过利用残差通道先验（RCP）引导，重建出高质量且结构细节准确的无雨图像。通过整合基于小波的多级模块、交互式融合模块以及迭代RCP优化策略，SPDNet在无需依赖雨滴生成假设的前提下，在合成数据集和真实世界去雨基准上均实现了最先进性能。

ABSTRACT

Single image deraining is important for many high-level computer vision tasks since the rain streaks can severely degrade the visibility of images, thereby affecting the recognition and analysis of the image. Recently, many CNN-based methods have been proposed for rain removal. Although these methods can remove part of the rain streaks, it is difficult for them to adapt to real-world scenarios and restore high-quality rain-free images with clear and accurate structures. To solve this problem, we propose a Structure-Preserving Deraining Network (SPDNet) with RCP guidance. SPDNet directly generates high-quality rain-free images with clear and accurate structures under the guidance of RCP but does not rely on any rain-generating assumptions. Specifically, we found that the RCP of images contains more accurate structural information than rainy images. Therefore, we introduced it to our deraining network to protect structure information of the rain-free image. Meanwhile, a Wavelet-based Multi-Level Module (WMLM) is proposed as the backbone for learning the background information of rainy images and an Interactive Fusion Module (IFM) is designed to make full use of RCP information. In addition, an iterative guidance strategy is proposed to gradually improve the accuracy of RCP, refining the result in a progressive path. Extensive experimental results on both synthetic and real-world datasets demonstrate that the proposed model achieves new state-of-the-art results. Code: https://github.com/Joyies/SPDNet

研究动机与目标

• 解决单图去雨中保持结构细节的挑战，尤其是在现有基于CNN的方法往往难以恢复准确物体结构的复杂真实场景中。
• 克服先前基于CNN的去雨方法仅聚焦于预测和去除雨痕所带来的过除或欠除及结构退化等局限性。
• 探索并利用一种新颖的图像先验——残差通道先验（RCP），该先验即使在有雨图像中也能保留清晰的结构信息，从而在去雨过程中实现更好的结构保持。
• 设计一种渐进式、迭代式的引导机制，在重建过程中逐步优化RCP估计，实现图像质量的分步提升。
• 通过下游视觉任务（如目标检测与识别）的性能提升，证明去雨技术的实际应用价值。

提出的方法

• 提出基于小波的多级模块（WMLM）作为主干网络，从有雨图像中学习多尺度背景特征，增强结构内容的表征能力。
• 设计RCP提取模块，通过计算RGB分量中最大值与最小值通道的差异，生成即使在有雨图像中也能保留结构边缘的先验。
• 引入交互式融合模块（IFM），动态融合来自WMLM和RCP的特征，引导网络重建结构准确的无雨图像。
• 实施迭代引导策略，从中间去雨结果中重新估计RCP，逐步优化先验并提升重建质量。
• 采用L1损失与感知损失相结合的方式端到端训练SPDNet模型，确保像素级保真度与结构一致性。
• 利用观察结果：RCP质量随图像质量提升而改善，使迭代优化循环能够同步增强RCP与最终输出。

Figure 1: An example of image deraining results. Obviously, SPDNet can reconstruct high-quality image with clear and accurate structure.

实验结果

研究问题

• RQ1 残差通道先验（RCP）是否能在从有雨图像中提取的情况下，仍作为可靠的结构先验用于去雨任务？
• RQ2 与传统雨痕预测与去除方法相比，RCP引导学习在保留物体结构方面表现如何？
• RQ3 基于中间结果更新RCP的迭代优化策略是否能提升去雨性能与结构准确性？
• RQ4 RCP引导在多大程度上能提升雨天条件下下游视觉任务（如目标检测与识别）的性能？
• RQ5 基于小波的多级特征提取器是否能在不依赖显式雨层建模的前提下，有效捕捉有雨图像中的结构细节？

主要发现

• SPDNet在合成数据集（DID-Enhance、SIDD）和真实世界数据集（Real-World Deraining Benchmark）上均达到最先进性能，在PSNR、SSIM与LPIPS指标上优于先前方法。
• 消融实验表明，RCP引导显著提升了结构保真度，视觉结果对比显示物体边界更清晰、更准确，优于基线方法。
• 迭代引导策略带来可测量的性能增益：使用中间输出的RCP优于仅使用原始有雨图像的RCP，证明了渐进式优化的有效性。
• 在COCO350数据集上，SPDNet的去雨结果mAP-50达到0.692，显著高于DRDNet（0.551）、DCSFN（0.652）与RCDNet（0.658）等SOTA方法，表明检测性能显著增强。
• Google Vision API评估显示，SPDNet将30张真实世界有雨图像的雨检测置信度平均降低至0.18，显著低于其他方法，表明其去雨效果更优。
• 视觉对比与定性结果表明，SPDNet能重建出边缘更锐利、纹理更清晰、结构更连贯的图像，尤其在密集雨痕的复杂场景中表现突出。

Figure 3: The overall architecture of the proposed Structure-Preserving Deraining Network (SPDNet).