[论文解读] Residual Dense Network for Image Restoration

Yulun Zhang, Yapeng Tian+3 more|arXiv (Cornell University)|Dec 25, 2018

Advanced Image Processing Techniques参考文献 74被引用 59

一句话总结

本文提出了一种残差密集网络（RDN），通过局部和全局特征融合的残差密集块（RDB）利用原始低质量图像的分层特征，在多任务上实现更优的图像修复。

ABSTRACT

Convolutional neural network has recently achieved great success for image restoration (IR) and also offered hierarchical features. However, most deep CNN based IR models do not make full use of the hierarchical features from the original low-quality images, thereby achieving relatively-low performance. In this paper, we propose a novel residual dense network (RDN) to address this problem in IR. We fully exploit the hierarchical features from all the convolutional layers. Specifically, we propose residual dense block (RDB) to extract abundant local features via densely connected convolutional layers. RDB further allows direct connections from the state of preceding RDB to all the layers of current RDB, leading to a contiguous memory mechanism. To adaptively learn more effective features from preceding and current local features and stabilize the training of wider network, we proposed local feature fusion in RDB. After fully obtaining dense local features, we use global feature fusion to jointly and adaptively learn global hierarchical features in a holistic way. We demonstrate the effectiveness of RDN with several representative IR applications, single image super-resolution, Gaussian image denoising, image compression artifact reduction, and image deblurring. Experiments on benchmark and real-world datasets show that our RDN achieves favorable performance against state-of-the-art methods for each IR task quantitatively and visually.

研究动机与目标

• 推动更充分地利用原始低质量图像的分层特征用于图像修复。
• 提出一个统一的网络（RDN），通过利用所有卷积层的特征来处理多种IR任务。
• 开发具连续记忆、局部特征融合和全局特征融合的新型构件（RDB），以稳定宽深网络的训练。
• 展示RDN在多种任务中的有效性：图像超分辨、去噪、压缩伪影减少和去模糊。
• 提供广泛的消融研究以及与现有最先进方法的对比。

提出的方法

• 引入将密集连接与局部残差学习相结合并具有连续记忆机制的残差密集块（RDB）。
• 通过1x1卷积的局部特征融合（LFF），自适应地融合先前RDB状态与当前块特征。
• 应用全局特征融合（GFF）在低分辨率（LR）空间融合所有RDB的分层特征，随后进行全局残差学习。
• 执行密集特征融合（DFF），由GFF和残差学习组成，在LR空间生成深层密集特征，然后通过ESPCN进行上采样以实现SR。
• 对于DN、CAR和去模糊，去除上采样模块，使用残差学习将LR映射到HQ。
• 提供实现细节：3x3卷积、64通道特征图，以及受增长率控制的设计以实现宽深网络。

实验结果

研究问题

• RQ1 是否可以有效地将低质量图像所有卷积层的分层特征融合，以在多种任务上提升修复效果？
• RQ2 新的组件如连续记忆、局部特征融合和全局特征融合是否能够在不稳定性问题下实现更宽更深的网络训练？
• RQ3 在SR、去噪、压缩伪影减少和去模糊方面，RDN相较于最先进方法的表现如何？
• RQ4 网络深度（D）、每个块的层数（C）和增长率（G）对修复性能有何影响？

主要发现

• RDN在若干IR任务中对比最先进方法表现出有利的性能。
• 消融研究表明，连续记忆（CM）、局部残差学习（LRL）和全局特征融合（GFF）各自提升训练稳定性与性能，三者结合能够获得最佳结果。
• RDN可以配置为适用于不同IR任务的灵活结构，且更宽更深的配置能更好地利用分层特征。
• 与竞争方法相比，RDN在标准基准上实现具有竞争力的PSNR/SSIM提升，并在参数量与速度之间取得有利平衡。
• 该架构有效地保留并利用原始LR图像的分层特征，提升了定量指标和视觉质量。