[论文解读] Unsupervised Image Super-Resolution using Cycle-in-Cycle Generative Adversarial Networks

Yuan Yuan, Siyuan Liu+4 more|arXiv (Cornell University)|Sep 3, 2018

Advanced Image Processing Techniques参考文献 27被引用 40

一句话总结

简述：提出 CinCGAN，一种用于在没有成对 LR-HR 数据和降解核的情况下进行无监督单图像超分辨的 Cycle-in-Cycle GAN 框架，在性能上与有监督方法相当。

ABSTRACT

We consider the single image super-resolution problem in a more general case that the low-/high-resolution pairs and the down-sampling process are unavailable. Different from traditional super-resolution formulation, the low-resolution input is further degraded by noises and blurring. This complicated setting makes supervised learning and accurate kernel estimation impossible. To solve this problem, we resort to unsupervised learning without paired data, inspired by the recent successful image-to-image translation applications. With generative adversarial networks (GAN) as the basic component, we propose a Cycle-in-Cycle network structure to tackle the problem within three steps. First, the noisy and blurry input is mapped to a noise-free low-resolution space. Then the intermediate image is up-sampled with a pre-trained deep model. Finally, we fine-tune the two modules in an end-to-end manner to get the high-resolution output. Experiments on NTIRE2018 datasets demonstrate that the proposed unsupervised method achieves comparable results as the state-of-the-art supervised models.

研究动机与目标

• 解决 SR 任务中缺乏成对的 LR-HR 数据与未知降解的问题。
• 提出一种受图像到图像翻译启发的无监督训练策略。
• 开发一个 Cycle-in-Cycle 架构，在上采样前在 LR 处进行去噪/去模糊。
• 对结合的 LR-to-HR 流线进行端到端微调，以实现高质量 SR。

提出的方法

• 使用两个耦合的 CycleGAN 将 LR 映射为干净的 LR，然后再映射到 HR，且不需要成对数据。
• 第一个 CycleGAN（LR 到干净 LR）包含去噪/去模糊、循环损失、恒等损失和 TV 损失。
• 在 LR-to-clean-LR 模块之后堆叠一个预训练的 SR 模型（EDSR）用于上采样。
• 联合微调 LR-to-clean-LR 和 LR-to-HR 路径，结合对抗损失和循环一致性损失。
• 在 HR 阶段采用 PatchGAN 判别器，并引入 SR 恒等损失以稳定 SR 质量。
• 使用无监督损失进行训练，然后在 NTIRE2018 Track 2 数据上进行端到端微调。

实验结果

研究问题

• RQ1 在没有成对数据的情况下，使用 Cycle-in-Cycle GAN 的无监督学习是否能够实现具有竞争力的 SR 性能？
• RQ2 在上采样前在 LR 处分解去噪/去模糊是否比单阶段的无监督 SR 提高稳定性和质量？
• RQ3 CinCGAN 与有监督的 SR 模型以及去噪-再 SR 流水线在真实降解数据集上的表现如何？

主要发现

• CinCGAN 在 NTIRE2018 Track 2 数据上实现了与最先进有监督模型相当的 PSNR/SSIM。
• 平均而言，CinCGAN 的 PSNR/SSIM 为 24.33/0.69，与 SRGAN+（24.33/0.68）相比相当，但在 PSNR（25.77/0.71）方面低于 EDSR+。
• 在未知降解下直接将有监督的 SR 模型应用于无成对数据时结果较差；CinCGAN 通过 LR-to-clean-LR 的无监督去噪来缓解这一点。
• 消融研究表明，移除组件降解或循环约束会导致 SR 结果更嘈杂且不稳定，验证了 CinCGAN 结构。
• BM3D+EDSR 先进行去噪但仍不如 CinCGAN，有证据表明联合的无监督去噪与上采样更有利。