[论文解读] Multi-scale deep neural networks for real image super-resolution

Shangqi Gao, Xiahai Zhuang|arXiv (Cornell University)|Apr 24, 2019

Advanced Image Processing Techniques参考文献 24被引用 6

一句话总结

本文提出多尺度深度神经网络（MsDNN）用于未知上采样倍数和多样化下采样算子下的真实图像超分辨率。通过在下采样空间（×2 和 ×4）处理输入，该方法降低了GPU显存使用量，并实现了高效的训练与推理。该方法在NTIRE 2019挑战赛中表现稳健，MsDN在PSNR和SSIM指标上优于MsRN，且在不同相机相关的下采样算子下具有良好泛化能力。

ABSTRACT

Single image super-resolution (SR) is extremely difficult if the upscaling factors of image pairs are unknown and different from each other, which is common in real image SR. To tackle the difficulty, we develop two multi-scale deep neural networks (MsDNN) in this work. Firstly, due to the high computation complexity in high-resolution spaces, we process an input image mainly in two different downscaling spaces, which could greatly lower the usage of GPU memory. Then, to reconstruct the details of an image, we design a multi-scale residual network (MsRN) in the downscaling spaces based on the residual blocks. Besides, we propose a multi-scale dense network based on the dense blocks to compare with MsRN. Finally, our empirical experiments show the robustness of MsDNN for image SR when the upscaling factor is unknown. According to the preliminary results of NTIRE 2019 image SR challenge, our team (ZXHresearch@fudan) ranks 21-st among all participants. The implementation of MsDNN is released https://github.com/shangqigao/gsq-image-SR

研究动机与目标

• 解决在上采样倍数未知且图像间下采样算子各异时的真实图像超分辨率挑战。
• 降低高分辨率图像超分辨率任务中的计算复杂度与GPU显存使用量。
• 开发一种在多种下采样算子（如多台相机生成的算子）下具备泛化能力的深度学习模型。
• 通过多尺度残差与密集网络提升超分辨率图像中的细节恢复能力。
• 在训练数据有限且测试图像较大的条件下，于NTIRE 2019图像超分辨率挑战赛中取得具有竞争力的性能。

提出的方法

• 在多个下采样空间（×2 和 ×4）处理输入图像，以降低分辨率并减少GPU显存消耗。
• 设计基于残差块的多尺度残差网络（MsRN），用于在下采样空间中进行特征学习。
• 提出使用密集块的多尺度密集网络（MsDN），以增强特征传播并改善细节恢复。
• 在输入图像的下采样版本上进行模型训练与测试，然后将最终输出上采样以重建高分辨率图像。
• 使用L2损失进行训练，并在验证集与测试集上通过PSNR与SSIM指标评估性能。
• 利用多尺度结构提升模型在不同下采样算子与未知上采样倍数下的泛化能力。

实验结果

研究问题

• RQ1 多尺度深度神经网络能否在上采样倍数未知的情况下有效处理真实图像超分辨率？
• RQ2 在下采样空间中处理图像是否能显著降低GPU显存使用量，同时保持重建质量？
• RQ3 在图像超分辨率任务中，MsRN与MsDN在PSNR与SSIM指标上的表现差异如何？
• RQ4 所提出的MsDNN能否在不同下采样算子（如来自不同相机的算子）之间实现良好泛化？
• RQ5 在双三次下采样假设下，该模型在Set5、Set14与DIV2K等标准基准上的表现如何？

主要发现

• MsDN在PSNR（29.51）与SSIM（0.8671）上优于MsRN（29.42与0.8646），表明其在细节恢复方面表现更优。
• 在NTIRE 2019验证集上，MsDN-2在Validation-1上达到最高PSNR（30.27）与SSIM（0.8677），而MsDN-1在Validation-2上取得最佳SSIM（0.8666）。
• 模型在不同下采样算子下表现出鲁棒性：在Validation-2（相机-2）上的表现优于Validation-1（相机-1），表明其对多样化成像条件具有适应能力。
• 在标准基准（Set5、Set14、DIV2K）上，于双三次下采样假设下，MsDNN性能劣于双三次插值，表明由于训练数据与测试数据分布不匹配，存在领域偏移。
• MsDN的平均推理时间为每张图像20秒，MsRN为21秒，表明尽管采用多尺度处理，仍具备高效的推理速度。
• 该方法在NTIRE 2019图像超分辨率挑战赛中排名21位，证明其在未知上采样倍数的真实世界数据集上的实际有效性。