[论文解读] Single Image Super-Resolution with Dilated Convolution based Multi-Scale Information Learning Inception Module

Wuzhen Shi, Feng Jiang+1 more|ArXiv.org|Jul 22, 2017

Advanced Image Processing Techniques参考文献 12被引用 10

一句话总结

本文提出一种基于空洞卷积的Inception模块，用于从单尺度低分辨率图像中捕捉多尺度特征，从而提升单图像超分辨率（SISR）性能。通过将这些模块级联为深层网络，该方法在Set5数据集×2超分任务中，PSNR性能相比现有方法最高提升0.37 dB，达到当前最先进水平。

ABSTRACT

Traditional works have shown that patches in a natural image tend to redundantly recur many times inside the image, both within the same scale, as well as across different scales. Make full use of these multi-scale information can improve the image restoration performance. However, the current proposed deep learning based restoration methods do not take the multi-scale information into account. In this paper, we propose a dilated convolution based inception module to learn multi-scale information and design a deep network for single image super-resolution. Different dilated convolution learns different scale feature, then the inception module concatenates all these features to fuse multi-scale information. In order to increase the reception field of our network to catch more contextual information, we cascade multiple inception modules to constitute a deep network to conduct single image super-resolution. With the novel dilated convolution based inception module, the proposed end-to-end single image super-resolution network can take advantage of multi-scale information to improve image super-resolution performance. Experimental results show that our proposed method outperforms many state-of-the-art single image super-resolution methods.

研究动机与目标

• 解决现有基于深度学习的SISR方法在利用多尺度图像信息方面的局限性。
• 通过挖掘自然图像中跨尺度的冗余自相似模式，提升图像恢复性能。
• 设计一种新颖的网络架构，无需多尺度输入即可有效捕捉多尺度特征。
• 通过深度堆叠专用的Inception模块，扩大感受野并增强上下文理解能力。
• 在标准基准测试中，相比当前最先进方法，实现更优越的超分辨率性能。

提出的方法

• 提出一种基于空洞卷积的Inception模块，通过在单个输入特征图上应用不同空洞率的空洞卷积，提取多尺度特征。
• 利用空洞卷积在不增加参数量或降低分辨率的前提下扩展感受野。
• 在Inception模块内将不同空洞率的特征进行拼接，实现多尺度信息融合。
• 将多个此类Inception模块级联，构建深层网络，以扩大整体感受野并建模长距离依赖关系。
• 在General-100数据集上，使用Adam优化器配合学习率调度和数据增强（旋转/翻转）进行端到端训练。
• 使用MatConvNet实现模型，采用He权重初始化并引入批量归一化，以保证训练稳定性。

实验结果

研究问题

• RQ1 空洞卷积能否在单尺度输入图像中有效捕捉SISR任务的多尺度特征？
• RQ2 将多尺度特征学习集成到深度CNN架构中，是否相比标准方法能显著提升超分辨率性能？
• RQ3 所提出的Inception模块在多尺度表征能力方面，与原始GoogLeNet Inception模块相比有何差异？
• RQ4 堆叠多个Inception模块在多大程度上增强了网络重建高分辨率细节的能力？
• RQ5 所提出方法是否能在无需多尺度训练数据的情况下，实现在标准SISR基准上的SOTA性能？

主要发现

• 所提出的MSSRNet在Set5、Set14和BSD200数据集上，所有超分倍数（×2、×3、×4）下均优于所有对比的SOTA方法。
• 在Set5数据集上，×4超分任务中，该方法平均PSNR达到31.13 dB，SSIM为0.8596，相比FSRCNN在PSNR上提升0.25 dB。
• 在×2超分任务中，相比FSRCNN提升0.33 dB，相比双三次插值提升2.33 dB。
• 增加网络深度（m=10, m=15）和宽度（n=16, n=32）可进一步提升PSNR与SSIM，验证了架构的可扩展性。
• 消融实验证实，基于空洞卷积的Inception模块能有效捕捉多尺度特征，对性能提升有显著贡献。
• 定性结果表明，与基线方法相比，该方法生成的纹理更清晰，伪影更少，尤其在高频区域表现更优。