[论文解读] Structural Residual Learning for Single Image Rain Removal

Wang Hong, Yichen Wu+4 more|arXiv (Cornell University)|May 19, 2020

Image Enhancement Techniques参考文献 55被引用 4

一句话总结

该论文提出了一种结构残差网络（SRNet）用于单图像去雨，通过强制输出残差符合内在的雨痕结构，提升了对未见雨型的泛化能力。通过在多尺度、空洞残差块中嵌入雨滴形态的先验知识，并结合全局残差学习，SRNet在合成数据集和真实世界数据集上均实现了最先进性能，展现出卓越的鲁棒性和细节保持能力。

ABSTRACT

To alleviate the adverse effect of rain streaks in image processing tasks, CNN-based single image rain removal methods have been recently proposed. However, the performance of these deep learning methods largely relies on the covering range of rain shapes contained in the pre-collected training rainy-clean image pairs. This makes them easily trapped into the overfitting-to-the-training-samples issue and cannot finely generalize to practical rainy images with complex and diverse rain streaks. Against this generalization issue, this study proposes a new network architecture by enforcing the output residual of the network possess intrinsic rain structures. Such a structural residual setting guarantees the rain layer extracted by the network finely comply with the prior knowledge of general rain streaks, and thus regulates sound rain shapes capable of being well extracted from rainy images in both training and predicting stages. Such a general regularization function naturally leads to both its better training accuracy and testing generalization capability even for those non-seen rain configurations. Such superiority is comprehensively substantiated by experiments implemented on synthetic and real datasets both visually and quantitatively as compared with current state-of-the-art methods.

研究动机与目标

• 解决现有基于CNN的去雨方法在训练数据中未出现的未见雨型上泛化失败的问题。
• 通过将雨痕结构的先验知识融入网络架构，提升单图像去雨任务中的鲁棒性与泛化能力。
• 开发一种在无需大规模多样化训练配对数据的情况下，仍能保持在真实世界雨天图像上高性能的网络。
• 即使缺乏时间信息，也能通过单图像模型实现有效视频去雨。
• 通过在残差学习过程中嵌入结构归纳偏差，减少对训练样本的过拟合。

提出的方法

• 所提出的SRNet使用三个具有不同空洞率的并行子网络，以捕捉多尺度雨痕结构，模拟真实雨痕的重复性和方向性特征。
• 引入结构化残差学习模块，其中网络输出的残差被约束为与雨型的先验知识（如一致的形状、厚度和方向）对齐。
• 网络采用编码器-解码器架构并结合跳跃连接与全局残差学习，以保持特征保真度并增强训练稳定性。
• 在编码器-解码器路径中使用最大池化和最大反池化层，以维持空间分辨率并实现精确的特征重建。
• 并行分支之间的权重共享减少了模型参数，而未牺牲泛化能力，从而实现紧凑但高效的架构。
• 该方法在合成的雨天-清晰图像配对数据上端到端训练，训练过程中无需真实世界配对数据。

实验结果

研究问题

• RQ1 在残差输出上强制施加结构先验，是否能提升单图像去雨在训练分布之外的泛化能力？
• RQ2 多尺度、空洞残差学习在捕捉训练期间未见的多样化雨痕模式方面起到了何种作用？
• RQ3 当应用于无时间建模的真实雨天视频时，单图像去雨模型在多大程度上能超越基于视频的去雨方法？
• RQ4 与标准残差网络相比，结构化残差学习是否能实现更好的背景纹理和细节保留？
• RQ5 并行分支中的权重共享是否能在降低模型复杂度和推理成本的同时保持性能？

主要发现

• 在SPA-Data基准上，SRNet的PSNR达到35.31，SSIM达到0.9448，定量与定性评估均优于所有对比的最先进方法。
• 即使未使用时间信息，SRNet在真实雨天视频帧上也实现了具有竞争力的去雨性能，且在保留树干、纹理等图像细节方面优于多个基于视频的去雨方法。
• 采用最大反池化的变体（B_d）在真实去雨任务中表现优于大多数其他变体及对比方法，证明了编码器-解码器设计的有效性。
• 采用权重共享的模型（B_e）在参数显著减少的情况下，性能与完整模型（B_f）相当，验证了该架构的高效性。
• 可视化结果表明，提取的雨层与稀疏特征图与真实雨痕模式高度一致，验证了该方法的结构归纳偏差。
• 在具有复杂运动与低光照条件的真实世界视频帧上，SRNet能有效去除雨痕，同时最小化伪影，而基于模型或深度学习的视频去雨方法常引入失真。