[论文解读] Non-locally Enhanced Encoder-Decoder Network for Single Image De-raining

Guanbin Li, Xiang He+4 more|arXiv (Cornell University)|Aug 4, 2018

Image Enhancement Techniques参考文献 33被引用 13

一句话总结

该论文提出了一种非局部增强的编码器-解码器网络（NLEDN），用于单图像去雨，通过非局部增强的密集块捕捉长程空间依赖性和分层特征，同时保持图像细节。该方法在Rain100L数据集上实现了最先进性能，PSNR相比之前方法最高提升0.77 dB。

ABSTRACT

Single image rain streaks removal has recently witnessed substantial progress due to the development of deep convolutional neural networks. However, existing deep learning based methods either focus on the entrance and exit of the network by decomposing the input image into high and low frequency information and employing residual learning to reduce the mapping range, or focus on the introduction of cascaded learning scheme to decompose the task of rain streaks removal into multi-stages. These methods treat the convolutional neural network as an encapsulated end-to-end mapping module without deepening into the rationality and superiority of neural network design. In this paper, we delve into an effective end-to-end neural network structure for stronger feature expression and spatial correlation learning. Specifically, we propose a non-locally enhanced encoder-decoder network framework, which consists of a pooling indices embedded encoder-decoder network to efficiently learn increasingly abstract feature representation for more accurate rain streaks modeling while perfectly preserving the image detail. The proposed encoder-decoder framework is composed of a series of non-locally enhanced dense blocks that are designed to not only fully exploit hierarchical features from all the convolutional layers but also well capture the long-distance dependencies and structural information. Extensive experiments on synthetic and real datasets demonstrate that the proposed method can effectively remove rain-streaks on rainy image of various densities while well preserving the image details, which achieves significant improvements over the recent state-of-the-art methods.

研究动机与目标

• 为解决现有深度学习方法在单图像去雨任务中的局限性，特别是其难以建模长程空间依赖性以及难以保持精细图像细节的问题。
• 通过设计一种超越标准残差和级联学习方案的新型神经网络架构，改进特征表示与空间相关性学习。
• 开发一种统一的端到端框架，有效去除不同密度的雨痕，同时保持高保真度的图像纹理。
• 验证非局部操作与分层特征聚合在图像去雨任务中的必要性与有效性。

提出的方法

• 所提出的NLEDN框架采用编码器-解码器架构，并利用池化索引引导特征传播，通过最大反池化操作保持空间分辨率。
• 每个编码器和解码器模块均为非局部增强的密集块（NEDB），通过层间密集连接增强特征重用与梯度流动。
• 在NEDB中集成非局部操作，以在长程空间上下文中计算注意力权重，使模型能够捕捉特征图中的结构化与全局依赖关系。
• 网络采用多尺度非局部机制，基于远距离空间位置间特征的相似性计算加权特征表示。
• 通过像素级回归损失端到端训练网络，将有雨图像映射到其对应的清晰版本。
• 消融实验验证了池化索引、密集连接与非局部增强在实现最优性能中的重要性。

实验结果

研究问题

• RQ1 如何设计深度神经网络以有效建模雨天图像中的长程空间依赖性，从而实现更优的雨痕去除？
• RQ2 非局部注意力机制在提升单图像去雨任务中特征表示能力方面有何贡献？
• RQ3 与标准残差或自编码器结构相比，分层特征学习与跳跃连接在多大程度上提升了去雨性能？
• RQ4 在编码器-解码器结构中集成池化索引如何影响特征重建与细节保持？
• RQ5 统一的端到端网络是否能超越多阶段或级联方法在去雨任务中的表现？

主要发现

• 所提出的NLEDN在Rain100L数据集上实现了35.91 dB的PSNR与0.9742的SSIM，优于先前的最先进方法。
• 消融实验表明，与无非局部增强的基线相比，引入非局部操作使PSNR提升0.77 dB，SSIM提升0.32%。
• 与基本残差基线相比，使用密集连接使PSNR提升0.59 dB，SSIM提升0.7%，证明其在特征学习中的有效性。
• 基于池化索引的接收场控制使PSNR提升0.36 dB，SSIM提升0.3%，凸显其在空间上下文建模中的作用。
• 定性对比显示，该模型即使在存在长而密集的雨痕时，仍能有效保持精细纹理与边缘。
• 完整模型（R_f）性能最佳，显著优于缺少非局部或分层特征学习组件的变体。