[论文解读] Progressive Image Deraining Networks: A Better and Simpler Baseline

Dongwei Ren, Wangmeng Zuo+3 more|arXiv (Cornell University)|Jan 26, 2019

Image Enhancement Techniques参考文献 31被引用 16

一句话总结

该论文提出PReNet，通过将渐进残差网络（PRN）与循环特征建模相结合，构建了一种更简单且更有效的单图像去雨基线模型。通过使用递归残差块、多阶段特征精炼以及仅采用MSE或负SSIM损失的残差学习框架，PReNet在合成雨景和真实雨景图像上均实现了最先进性能，优于更深、更复杂的模型，同时保持了高效率。

ABSTRACT

Along with the deraining performance improvement of deep networks, their structures and learning become more and more complicated and diverse, making it difficult to analyze the contribution of various network modules when developing new deraining networks. To handle this issue, this paper provides a better and simpler baseline deraining network by considering network architecture, input and output, and loss functions. Specifically, by repeatedly unfolding a shallow ResNet, progressive ResNet (PRN) is proposed to take advantage of recursive computation. A recurrent layer is further introduced to exploit the dependencies of deep features across stages, forming our progressive recurrent network (PReNet). Furthermore, intra-stage recursive computation of ResNet can be adopted in PRN and PReNet to notably reduce network parameters with graceful degradation in deraining performance. For network input and output, we take both stage-wise result and original rainy image as input to each ResNet and finally output the prediction of {residual image}. As for loss functions, single MSE or negative SSIM losses are sufficient to train PRN and PReNet. Experiments show that PRN and PReNet perform favorably on both synthetic and real rainy images. Considering its simplicity, efficiency and effectiveness, our models are expected to serve as a suitable baseline in future deraining research. The source codes are available at https://github.com/csdwren/PReNet.

研究动机与目标

• 为解决深度去雨网络日益复杂的结构问题，该问题阻碍了模块分析与模型开发。
• 建立一种更简单但更有效的单图像去雨基线模型，其性能超越复杂的最先进模型。
• 探究递归网络设计与残差学习是否可在无需复杂架构的前提下实现卓越性能。
• 评估输入结构、输出形式与损失函数对去雨性能的影响。
• 证明高效、轻量级模型可达到甚至超越更重、更深网络的性能表现。

提出的方法

• 通过在多个阶段中递归展开浅层残差网络，构建渐进残差网络（PRN），且不增加参数量。
• 引入循环层以建模各阶段之间深层特征的长距离依赖关系，形成渐进循环网络（PReNet）。
• 在阶段内部对残差块应用递归计算，以进一步减小模型尺寸，同时保持性能损失最小。
• 在每个阶段，网络同时接收原始雨景图像与阶段内中间结果作为输入，以增强特征表示能力。
• 输出为雨层的残差预测，支持通过简单的MSE或负SSIM损失函数实现端到端训练。
• 整个架构仅使用单一损失函数进行训练，无需复杂的多损失组合。

实验结果

研究问题

• RQ1 是否可通过更简单、更浅层的网络结合渐进递归设计，超越更深、更复杂的去雨网络？
• RQ2 在各阶段之间引入循环层是否能提升特征精炼效果与去雨质量？
• RQ3 阶段内递归残差块是否能显著减少参数量而不降低性能？
• RQ4 是否仅使用单一损失函数（如MSE或负SSIM）即可实现最先进性能？
• RQ5 在输入流中包含原始雨景图像是否对去雨性能有显著影响？

主要发现

• 在Rain100H、Rain100L和Rain12数据集上，PReNet在PSNR和SSIM指标上均优于所有对比方法，即使在较少图像上进行训练也表现出色。
• PReNet r（一种引入阶段内递归的参数缩减变体）在所有基准数据集上仍全面超越所有最先进方法。
• 在真实雨景图像上，PReNet生成的图像视觉效果更清晰，残留雨痕更少，优于JORDER与DDN。
• 在视频去雨任务中，PReNet成功在所有帧中去除雨痕，尽管缺乏时间一致性，但性能仍优于FastDerain，后者因误差累积在帧过渡处出现失败。
• PReNet相比竞争模型显著更高效，得益于其轻量化、递归结构，推理速度更快。
• 仅使用单一MSE或负SSIM损失函数即可实现稳定且高效的训练，简化了训练流程。