[论文解读] Residual-Guide Feature Fusion Network for Single Image Deraining

Zhiwen Fan, Huafeng Wu+3 more|arXiv (Cornell University)|Apr 20, 2018

Image Enhancement Techniques参考文献 28被引用 37

一句话总结

本文提出ResGuideNet，一种用于单图去雨的级联残差引导特征融合网络，通过利用浅层块的残差来引导深层块，逐步优化雨痕去除效果。该方法采用递归卷积、多尺度监督和特征集成学习，仅用37K参数即实现最先进性能，可在不同雨情和计算资源约束下实现高效部署。

ABSTRACT

Single image rain streaks removal is extremely important since rainy images adversely affect many computer vision systems. Deep learning based methods have found great success in image deraining tasks. In this paper, we propose a novel residual-guide feature fusion network, called ResGuideNet, for single image deraining that progressively predicts highquality reconstruction. Specifically, we propose a cascaded network and adopt residuals generated from shallower blocks to guide deeper blocks. By using this strategy, we can obtain a coarse to fine estimation of negative residual as the blocks go deeper. The outputs of different blocks are merged into the final reconstruction. We adopt recursive convolution to build each block and apply supervision to all intermediate results, which enable our model to achieve promising performance on synthetic and real-world data while using fewer parameters than previous required. ResGuideNet is detachable to meet different rainy conditions. For images with light rain streaks and limited computational resource at test time, we can obtain a decent performance even with several building blocks. Experiments validate that ResGuideNet can benefit other low- and high-level vision tasks.

研究动机与目标

• 解决单图去雨问题，即雨痕会降低图像质量并影响下游计算机视觉任务。
• 克服现有深度学习模型参数量大、在不同雨情下泛化能力差的局限。
• 设计一种轻量化、模块化的网络架构，实现从粗到精的雨痕去除估计，同时以极少参数保持高性能。
• 通过支持模型拆卸，实现在轻度降雨或资源受限场景下的实用化部署，且性能损失可忽略。
• 证明所提架构在其他低层次视觉任务（如图像去噪）中的泛化能力，并在高阶任务（如目标检测）中实现性能提升。

提出的方法

• 提出级联网络架构，其中每个模块预测残差，并利用来自更浅层模块的残差作为深层模块预测的引导。
• 在每个模块内采用递归卷积，以减少参数量，同时保持特征表示能力。
• 对所有中间模块输出应用多尺度监督，实现负雨痕残差的从粗到精学习。
• 通过集成学习融合所有中间模块的输出，以提升最终重建质量。
• 在每个模块中引入全局短连接，以稳定训练并改善梯度流动。
• 设计网络支持拆卸——用户可仅选择前几个模块用于轻度降雨或低资源环境，同时保持强劲性能。

实验结果

研究问题

• RQ1 与标准残差学习相比，利用浅层到深层残差引导的级联网络是否能显著提升单图去雨的质量？
• RQ2 参数量少于40K的轻量化架构是否能在合成数据和真实世界去雨基准上实现具有竞争力的性能？
• RQ3 对中间输出施加多尺度监督是否能带来更好的收敛性与更精细的残差估计？
• RQ4 所提模型是否可在资源受限或轻度降雨场景中有效拆卸使用，且性能损失可忽略？
• RQ5 所学习的特征在其他低层次视觉任务（如图像去噪）中泛化程度如何？是否能显著提升高阶视觉流水线（如目标检测）的性能？

主要发现

• 在合成数据上，ResGuideNet使用五个模块时测试SSIM达到0.943，中间输出已表现出强劲性能（第1层SSIM为0.927，第3层SSIM为0.935）。
• 该模型在SSIM指标上与最先进方法（如JORDER）相当或更优，但参数量显著更少（37K vs. 某些基线超过100K）。
• 在真实世界雨天图像上，ResGuideNet生成的图像模糊程度低于对比方法，即使无真实标签也表现出强大泛化能力。
• ResGuideNet 3（三模块）在GPU上推理速度达0.06秒，在CPU上为1.26秒，速度优于大多数基线，尤其在CPU上表现突出。
• 该模型在图像去噪任务中也表现出良好泛化能力：在BSD500数据集上，对高斯噪声（σ=0.1）的SSIM达到0.927，显示出向类似恢复任务迁移的潜力。
• 当作为Faster R-CNN的预处理步骤时，ResGuideNet在强降雨条件下显著提升了目标检测性能，证明其在高阶视觉流水线中的实用价值。