[论文解读] Residual Dense Network for Image Super-Resolution

Yulun Zhang, Yapeng Tian+3 more|arXiv (Cornell University)|Feb 24, 2018

Advanced Image Processing Techniques参考文献 34被引用 247

一句话总结

论文提出了一个非常深的残差密集网络（RDN），通过残差密集块充分挖掘原始低分辨率图像的层次特征，在多种降级模型下实现图像超分辨率的先进水平结果。

ABSTRACT

A very deep convolutional neural network (CNN) has recently achieved great success for image super-resolution (SR) and offered hierarchical features as well. However, most deep CNN based SR models do not make full use of the hierarchical features from the original low-resolution (LR) images, thereby achieving relatively-low performance. In this paper, we propose a novel residual dense network (RDN) to address this problem in image SR. We fully exploit the hierarchical features from all the convolutional layers. Specifically, we propose residual dense block (RDB) to extract abundant local features via dense connected convolutional layers. RDB further allows direct connections from the state of preceding RDB to all the layers of current RDB, leading to a contiguous memory (CM) mechanism. Local feature fusion in RDB is then used to adaptively learn more effective features from preceding and current local features and stabilizes the training of wider network. After fully obtaining dense local features, we use global feature fusion to jointly and adaptively learn global hierarchical features in a holistic way. Extensive experiments on benchmark datasets with different degradation models show that our RDN achieves favorable performance against state-of-the-art methods.

研究动机与目标

• 通过利用原始低分辨率图像的分层特征来推动改进的图像超分辨率。
• 提出一种新型构建块（RDB），具有连续内存和局部特征融合，以实现非常深、非常宽的网络。
• 开发一个全局特征融合框架，以在LR空间中联合融合所有RDB的多级特征。
• 证明RDN在多种降级模型和真实世界图像中的鲁棒性。
• 提供实现细节和消融实验，以证明设计选择的合理性。

提出的方法

• 引入带密集连接、通过1x1卷积实现的局部特征融合（LFF）以及局部残差学习（LRL）的残差密集块（RDB），以形成连续内存（CM）机制。
• 堆叠多个RDB，形成带有浅特征提取、密集特征融合（DFF）包括全局特征融合（GFF）和全局残差学习（GRL）的残差密集网络（RDN），以及使用ESPCN的上采样网络（UPNet）。
• 在LR空间提取特征， 全局融合它们以形成密集特征，然后通过ESPCN和最后一个卷积层上采样到HR。
• 使用L1损失进行训练，使用DIV2K作为训练数据，在多种降级模型（BI、BD、DN）下对Set5、Set14、B100、Urban100、Manga109等标准SR基准进行评估。
• 进行消融，以评估连续内存（CM）、局部残差学习（LRL）和全局特征融合（GFF）的贡献。

实验结果

研究问题

• RQ1 LR空间中所有层的分层特征是否能比仅使用最终LR特征提高SR性能？
• RQ2 连续内存、局部特征融合和全局特征融合是否协同提升极深网络的训练稳定性和SR精度？
• RQ3 RDN在不同降级模型（BI、BD、DN）和真实世界图像上的表现如何？
• RQ4 网络深度（D）、每块层数（C）和增长率（G）对SR性能有何影响？
• RQ5 对于SR而言，多级LR特征的全局融合是否优于仅局部的密集连接？

主要发现

• RDN在BI降级下，在多个数据集上比最新方法在平均PSNR/SSIM方面表现更优，尤其在×2尺度时。
• 消融表明CM、LRL和GFF分别提升性能，三者结合时得到最佳结果。
• 全局特征融合与全局残差学习使浅层与深层特征的有效组合成为可能，提升训练稳定性和SR质量。
• RDN在Set5、Set14、B100、Urban100和Manga109上持续优于竞争方法，特别是在较小尺度（×2）。
• RDN对BD（模糊下采样）和DN（带噪下采样）降级具有鲁棒性，在定性比较中呈现更清晰的边缘与细节保留。
• 自举（RDN+）在BI降级测试中提供额外的SR提升。
• 现实世界图像的未知降级显示RDN比若干基线产生更清晰的边缘和更细的细节。