[论文解读] Unpaired Image Super-Resolution using Pseudo-Supervision

Shunta Maeda|arXiv (Cornell University)|Feb 26, 2020

Advanced Image Processing Techniques参考文献 57被引用 6

一句话总结

本文提出了一种基于伪监督的无配对图像超分方法，以克服成对训练数据的局限性。通过将网络分离为基于CycleGAN的校正网络（用于去除核与噪声）和基于从高分辨率图像生成的合成干净低分辨率图像进行训练的伪配对超分网络，该方法使标准的像素级损失函数得以应用，并在真实世界和合成数据集上实现了最先进性能，而无需使用对齐的高分辨率-低分辨率图像对。

ABSTRACT

In most studies on learning-based image super-resolution (SR), the paired training dataset is created by downscaling high-resolution (HR) images with a predetermined operation (e.g., bicubic). However, these methods fail to super-resolve real-world low-resolution (LR) images, for which the degradation process is much more complicated and unknown. In this paper, we propose an unpaired SR method using a generative adversarial network that does not require a paired/aligned training dataset. Our network consists of an unpaired kernel/noise correction network and a pseudo-paired SR network. The correction network removes noise and adjusts the kernel of the inputted LR image; then, the corrected clean LR image is upscaled by the SR network. In the training phase, the correction network also produces a pseudo-clean LR image from the inputted HR image, and then a mapping from the pseudo-clean LR image to the inputted HR image is learned by the SR network in a paired manner. Because our SR network is independent of the correction network, well-studied existing network architectures and pixel-wise loss functions can be integrated with the proposed framework. Experiments on diverse datasets show that the proposed method is superior to existing solutions to the unpaired SR problem.

研究动机与目标

• 解决在缺乏配对高分辨率-低分辨率训练数据时真实世界图像超分的挑战。
• 克服现有无配对超分方法因分布偏移或缺乏像素级监督而导致的局限性。
• 在无配对设置下，使现有成熟的超分网络和像素级损失函数得以应用。
• 提升在受复杂未知过程退化的真实世界图像上的性能。

提出的方法

• 该方法使用基于CycleGAN的无配对核/噪声校正网络，将真实低分辨率图像转换为干净的低分辨率图像。
• 校正网络还通过双向循环一致性损失，从高分辨率图像生成伪干净低分辨率图像。
• 一个独立的超分网络以配对方式训练，从伪干净低分辨率图像中重建高分辨率图像，从而支持标准像素级损失函数的使用。
• 整个网络端到端可训练，损失函数包含循环一致性损失、身份损失和几何集成损失。
• 几何集成损失（$\mathcal{L}_{geo}$）确保重建图像的结构一致性。
• 该框架将校正与超分任务解耦，支持与现有超分架构和损失函数的集成。

实验结果

研究问题

• RQ1 基于GAN的无配对超分方法是否能在不依赖配对数据的情况下，优于现有的间接或直接方法？
• RQ2 通过从高分辨率数据生成的合成干净低分辨率图像实现的伪监督，是否能有效训练标准超分网络？
• RQ3 双向校正网络是否能减少真实与生成低分辨率图像之间的分布偏移？
• RQ4 结合像素级损失与几何一致性损失，是否能提升无配对超分的感知质量与结构保真度？

主要发现

• 在AIM 2019真实世界超分挑战赛（赛道2）中，该方法取得了22.88的PSNR、0.6612的SSIM和0.4539的LPIPS，优于ZSSR、ESRGAN和Lugmayr等人[32]。
• 经过额外训练，性能进一步提升至PSNR 23.01、SSIM 0.6655和LPIPS 0.4567，展现出良好的鲁棒性与可扩展性。
• 在WiderFace数据集的真实人脸图像上，该方法更好地保留了细节并去除了伪影，生成的视觉结果最为自然可信。
• 在DOTA数据集的航拍图像上，该方法保持了良好的几何一致性与物体结构，尤其在使用几何集成损失（$\mathcal{L}_{geo}$）时表现更优。
• 消融实验表明，几何集成损失显著提升了结构一致性，有效减少了重建中的几何不一致性。
• 该方法在多种数据集上均取得优异结果，包括合成退化图像、真实人脸图像和真实航拍图像，展现出广泛的适用性。