[论文解读] Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining

Xia Li, Jianlong Wu+3 more|ArXiv.org|Jul 16, 2018

Image Enhancement Techniques参考文献 30被引用 29

一句话总结

本文提出 RESCAN，一种用于单图像去雨的循环挤压-激励上下文聚合网络，通过空洞卷积以指数增长的接受感受野将去雨过程分解为多个阶段。通过集成挤压-激励模块以自适应地加权雨痕层，并利用循环神经网络在各阶段间保留和传播有用信息，RESCAN 在合成数据集和真实世界数据集上均实现了最先进性能，在所有指标上的 PSNR 和 SSIM 均优于先前方法。

ABSTRACT

Rain streaks can severely degrade the visibility, which causes many current computer vision algorithms fail to work. So it is necessary to remove the rain from images. We propose a novel deep network architecture based on deep convolutional and recurrent neural networks for single image deraining. As contextual information is very important for rain removal, we first adopt the dilated convolutional neural network to acquire large receptive field. To better fit the rain removal task, we also modify the network. In heavy rain, rain streaks have various directions and shapes, which can be regarded as the accumulation of multiple rain streak layers. We assign different alpha-values to various rain streak layers according to the intensity and transparency by incorporating the squeeze-and-excitation block. Since rain streak layers overlap with each other, it is not easy to remove the rain in one stage. So we further decompose the rain removal into multiple stages. Recurrent neural network is incorporated to preserve the useful information in previous stages and benefit the rain removal in later stages. We conduct extensive experiments on both synthetic and real-world datasets. Our proposed method outperforms the state-of-the-art approaches under all evaluation metrics. Codes and supplementary material are available at our project webpage: https://xialipku.github.io/RESCAN .

研究动机与目标

• 解决在强降雨条件下单图像去雨的挑战，其中雨痕在方向、形状和透明度上各不相同。
• 通过使用指数增长的空洞率空洞卷积扩大感受野，提升上下文特征学习能力。
• 通过挤压-激励模块自适应分配注意力权重，建模雨痕层的层次化与重叠特性。
• 通过引入循环神经网络，在多个去雨阶段之间利用类似时间的依赖关系，以保留并传播来自前期阶段的有用信息。
• 在合成与真实世界去雨基准上超越现有最先进方法。

提出的方法

• 网络通过多个阶段处理去雨任务，每个阶段利用基于空洞卷积的上下文聚合网络（SCAN）对前一阶段的输出进行细化。
• 采用空洞率呈指数增长（如 1, 2, 4, 8, 16, 32, 64）的空洞卷积，以扩大感受野而不增加网络深度。
• 在每个卷积层后插入挤压-激励（SE）模块，以学习通道注意力权重（alpha 值），根据雨痕层的强度与透明度自适应地强调或抑制特定层。
• 在各阶段间集成循环神经网络单元（ConvRNN、ConvLSTM、ConvGRU），以维持并传播隐藏状态，实现从早期到后期阶段的信息流动。
• 在循环模块中使用完整预测框架，隐藏状态基于当前输入与前一隐藏状态进行更新，从而提升特征细化效果。
• 从基础网络中移除批量归一化，以避免独立雨痕层之间的干扰，这些层被视为独立通道处理。

实验结果

研究问题

• RQ1 能否通过将雨痕建模为具有不同强度与方向的重叠层，构建多阶段去雨框架，从而在性能上超越单阶段方法？
• RQ2 挤压-激励机制在根据雨痕的视觉特性自适应加权不同雨痕层方面有多有效？
• RQ3 在去雨阶段间引入循环网络是否能通过保留并利用前期阶段的有用信息来提升性能？
• RQ4 在去雨性能与稳定性方面，不同循环单元（ConvRNN、ConvLSTM、ConvGRU）的表现如何比较？
• RQ5 具有指数增长空洞率的上下文聚合网络是否能在捕捉长距离上下文依赖方面超越标准残差网络或编码器-解码器架构？

主要发现

• 在 Rain800 数据集上，RESCAN 实现了 23.45 的 PSNR 和 0.8112 的 SSIM，显著优于次佳方法（SCAN）的 23.11 PSNR 与 0.7657 SSIM。
• 在更具挑战性的 Rain100H 数据集上，RESCAN 实现了 23.56 的 PSNR 与 0.7456 的 SSIM，较先前最先进方法（CAN）提升 0.63 PSNR 与 0.0123 SSIM。
• ConvLSTM+Full 框架表现最佳，在 Rain800 上实现 24.37 PSNR 与 0.8384 SSIM，在 Rain100H 上实现 25.64 PSNR 与 0.8334 SSIM。
• 消融实验表明，移除批量归一化可提升性能，因为雨痕层彼此独立，BN 会干扰其学习。
• SE 模块的引入显著提升性能，如从 CAN 到 SCAN 的改进中体现，PSNR 提升达 0.28–0.30。
• 丢弃先前隐藏状态的迭代框架（Iter）性能劣于所有 RNN 变体，证明了阶段间循环信息流动的重要性。