[论文解读] Unsupervised Degradation Learning for Single Image Super-Resolution

Tianyu Zhao, Wenqi Ren+3 more|arXiv (Cornell University)|Dec 11, 2018

Advanced Image Processing Techniques参考文献 29被引用 31

一句话总结

该论文提出了一种用于单图像超分（SISR）的无监督退化学习框架，通过联合训练退化网络和重建网络，无需使用成对的合成低分辨率（LR）-高分辨率（HR）数据。通过采用双循环一致性损失和生成对抗网络，该方法能够从真实高分辨率输入生成逼真的低分辨率图像，并从真实低分辨率输入重建高分辨率图像，在真实世界图像上实现了最先进性能，同时提升了边缘锐度和抗噪鲁棒性。

ABSTRACT

Deep Convolution Neural Networks (CNN) have achieved significant performance on single image super-resolution (SR) recently. However, existing CNN-based methods use artificially synthetic low-resolution (LR) and high-resolution (HR) image pairs to train networks, which cannot handle real-world cases since the degradation from HR to LR is much more complex than manually designed. To solve this problem, we propose a real-world LR images guided bi-cycle network for single image super-resolution, in which the bidirectional structural consistency is exploited to train both the degradation and SR reconstruction networks in an unsupervised way. Specifically, we propose a degradation network to model the real-world degradation process from HR to LR via generative adversarial networks, and these generated realistic LR images paired with real-world HR images are exploited for training the SR reconstruction network, forming the first cycle. Then in the second reverse cycle, consistency of real-world LR images are exploited to further stabilize the training of SR reconstruction and degradation networks. Extensive experiments on both synthetic and real-world images demonstrate that the proposed algorithm performs favorably against state-of-the-art single image SR methods.

研究动机与目标

• 为了解决现有SISR方法在训练中使用合成低分辨率图像与测试中真实世界低分辨率图像之间的域差距问题，该问题限制了模型的泛化能力。
• 通过直接从真实高分辨率图像中学习退化模式，消除对成对合成低分辨率-高分辨率图像数据集的需求。
• 提升对复杂真实世界退化（如噪声和模糊）的鲁棒性，这些退化无法通过简单的下采样过程捕捉。
• 通过双循环一致性损失稳定训练，确保退化网络与重建网络之间的结构一致性。

提出的方法

• 提出一种基于生成对抗网络（GAN）的退化网络，能够从高分辨率输入中合成逼真的低分辨率图像，而无需依赖双三次或最近邻下采样。
• 采用双循环结构：第一轮通过退化网络将高分辨率图像生成低分辨率图像，并从生成的低分辨率图像中重建高分辨率图像；第二轮则从真实低分辨率图像中重建高分辨率图像，并重新退化为低分辨率图像，以强制保持一致性。
• 在退化网络训练过程中使用结构感知损失，以保持生成的低分辨率图像与其对应高分辨率图像之间的结构相似性。
• 通过退化判别器引入对抗损失，以提升生成低分辨率图像的真实性。
• 利用循环一致性损失稳定训练，确保从真实低分辨率输入重建的高分辨率图像在重新退化后与原始高分辨率图像保持一致。
• 使用生成的逼真低分辨率图像和真实世界低分辨率图像联合训练重建网络，从而实现在真实退化下的无监督适应。

实验结果

研究问题

• RQ1 深度学习模型能否在无成对合成低分辨率-高分辨率数据的情况下，从真实高分辨率图像中学习到逼真的退化模式？
• RQ2 退化网络与重建网络之间的循环一致性如何提升真实世界超分任务的性能？
• RQ3 与在合成数据上训练的方法相比，无监督退化学习是否能实现对真实世界低分辨率图像更好的泛化性能？
• RQ4 所提出方法在真实世界图像中面对不同水平的噪声和模糊时，其鲁棒性如何？

主要发现

• 所提出的DNSR方法在真实世界图像上实现了最先进性能，无论在定量指标还是视觉质量上均优于SRMD、DBPN和ESRGAN等方法，尤其在恢复锐利边缘和精细纹理方面表现突出。
• 消融实验证明，若移除退化判别器或循环一致性损失，性能会显著下降，验证了这两个组件对稳定且真实训练的必要性。
• 该方法对高斯噪声表现出卓越的鲁棒性，在噪声水平高达7%时仍保持高性能，而ESRGAN在相同条件下性能明显下降。
• 模型具备具有竞争力的推理速度，在使用PyTorch处理DIV2K数据集时，每张图像的运行时间为0.645秒，与其他最先进方法相当。
• 在真实图像（如'0879'和'0882'）上的视觉结果表明，DNSR即使在无任何成对训练数据的情况下，也能生成比基线方法更锐利的边缘和更真实的色彩。