[论文解读] SRDGAN: learning the noise prior for Super Resolution with Dual Generative Adversarial Networks

Jingwei Guan, Cheng Pan+2 more|arXiv (Cornell University)|Mar 28, 2019

Advanced Image Processing Techniques参考文献 35被引用 15

一句话总结

该论文提出SRDGAN，一种双生成对抗网络（GAN）框架，通过学习真实噪声先验来缓解合成训练数据与真实移动设备低分辨率图像之间的域差距。该方法引入一个从高到低的生成器，用于合成逼真的低分辨率图像，并训练一种新颖的从低到高的超分辨率网络，基于一个全新的大规模数据集（GMSR），在$I_{pair}$基准上实现了39.93 dB PSNR和0.9782 SSIM的最先进性能。

ABSTRACT

Single Image Super Resolution (SISR) is the task of producing a high resolution (HR) image from a given low-resolution (LR) image. It is a well researched problem with extensive commercial applications such as digital camera, video compression, medical imaging and so on. Most super resolution works focus on the features learning architecture, which can recover the texture details as close as possible. However, these works suffer from the following challenges: (1) The low-resolution (LR) training images are artificially synthesized using HR images with bicubic downsampling, which have much richer-information than real demosaic-upscaled mobile images. The mismatch between training and inference mobile data heavily blocks the improvement of practical super resolution algorithms. (2) These methods cannot effectively handle the blind distortions during super resolution in practical applications. In this work, an end-to-end novel framework, including high-to-low network and low-to-high network, is proposed to solve the above problems with dual Generative Adversarial Networks (GAN). First, the above mismatch problems are well explored with the high-to-low network, where clear high-resolution image and the corresponding realistic low-resolution image pairs can be generated. Moreover, a large-scale General Mobile Super Resolution Dataset, GMSR, is proposed, which can be utilized for training or as a fair comparison benchmark for super resolution methods. Second, an effective low-to-high network (super resolution network) is proposed in the framework. Benefiting from the GMSR dataset and novel training strategies, the super resolution model can effectively handle detail recovery and denoising at the same time.

研究动机与目标

• 解决合成的双三次下采样训练数据与真实移动设备低分辨率图像之间的域差距，后者表现出不同的噪声和退化模式。
• 克服现有单图像超分辨率（SISR）方法在处理移动拍摄图像中真实世界失真（如噪声和模糊）方面的局限性。
• 构建一个可泛化的框架，通过建模真实退化先验，提升在真实世界移动图像上的超分辨率性能。
• 创建一个大规模、多样化的基准数据集（GMSR），用于公平评估和训练面向移动图像分布的超分辨率模型。
• 通过结合从高到低的GAN进行真实数据合成与改进的从低到高的GAN进行超分辨率生成，提升超分辨率中的细节恢复与去噪能力。

提出的方法

• 使用生成对抗网络（GANs）训练一个从高到低的生成器（ΦH2L），从高分辨率输入中合成逼真的低分辨率图像，模拟真实移动图像的退化特征，包括噪声和模糊。
• 在训练过程中使用最近邻下采样而非双三次插值，以更好地匹配真实移动图像的退化特性。
• 通过ΦH2L生成成对的高分辨率-低分辨率图像集，构建大规模通用移动超分辨率（GMSR）数据集，覆盖多样的噪声水平、纹理、光照和视角。
• 设计一种新颖的从低到高的超分辨率网络（ΦL2H），采用改进的网络架构和训练策略，以联合恢复精细细节并抑制噪声。
• 通过双生成对抗网络端到端优化两个网络，利用对抗性损失提升生成结果的真实感和感知质量。
• 应用感知损失和感知风格损失，以提升重建高分辨率图像的结构和纹理保真度。

实验结果

研究问题

• RQ1 从高到低的GAN是否能有效学习并合成与真实移动拍摄图像退化模式匹配的逼真低分辨率图像？
• RQ2 在合成但逼真的LR数据集（GMSR）上训练超分辨率模型，是否相比标准合成数据集能显著提升在真实世界移动图像上的性能？
• RQ3 在训练中使用最近邻下采样而非双三次下采样，是否能增强模型处理真实世界失真（如噪声和模糊）的能力？
• RQ4 采用新型训练策略的改进型从低到高的GAN架构，是否能在真实移动图像上实现比现有SOTA方法更优的细节恢复与噪声抑制？
• RQ5 与ESRGAN及其他基线方法相比，所提出的双生成对抗网络框架在移动图像超分辨率任务中，能在多大程度上提升泛化能力与视觉质量？

主要发现

• 所提方法在$I_{pair}$移动图像基准上达到39.93 dB PSNR和0.9782 SSIM，相比ESRGAN在PSNR上提升超过1.38 dB，在SSIM上提升0.021。
• 模型显著减少了真实移动图像中的噪声，并增强了细节恢复，视觉对比显示红色和蓝色区域纹理更清晰、噪声更少。
• 使用GMSR数据集和最近邻下采样策略的训练，不仅提升了在通用数据集（Set14）上的性能，也显著改善了在移动图像特异性数据上的表现，证明了跨域泛化能力。
• 重新训练的ESRGAN*变体（使用新数据集和下采样方法）优于原始ESRGAN，验证了新训练数据和策略的有效性。
• H2L网络成功生成了噪声分布和视觉特征与真实移动图像高度一致的低分辨率图像，验证了其对真实世界退化过程的建模能力。
• SRDGAN完整框架在所有数据集上均取得最佳SSIM分数，表明其在重建对比度、亮度和结构细节方面具有卓越性能。