[论文解读] NTIRE 2020 Challenge on Real-World Image Super-Resolution: Methods and Results

Andreas Lugmayr, Martin Danelljan+44 more|arXiv (Cornell University)|May 5, 2020

Advanced Image Processing Techniques参考文献 78被引用 23

一句话总结

本文介绍了NTIRE 2020真实世界图像超分挑战赛，评估了22支团队在无配对训练数据条件下提升低质量图像的方法。该挑战赛设立两个赛道：一个使用合成退化图像进行基于参考的评估，另一个使用真实智能手机拍摄的图像，性能通过人类感知判断，推动了无监督和弱监督超分技术的发展。

ABSTRACT

This paper reviews the NTIRE 2020 challenge on real world super-resolution. It focuses on the participating methods and final results. The challenge addresses the real world setting, where paired true high and low-resolution images are unavailable. For training, only one set of source input images is therefore provided along with a set of unpaired high-quality target images. In Track 1: Image Processing artifacts, the aim is to super-resolve images with synthetically generated image processing artifacts. This allows for quantitative benchmarking of the approaches \wrt a ground-truth image. In Track 2: Smartphone Images, real low-quality smart phone images have to be super-resolved. In both tracks, the ultimate goal is to achieve the best perceptual quality, evaluated using a human study. This is the second challenge on the subject, following AIM 2019, targeting to advance the state-of-the-art in super-resolution. To measure the performance we use the benchmark protocol from AIM 2019. In total 22 teams competed in the final testing phase, demonstrating new and innovative solutions to the problem.

研究动机与目标

• 解决在训练过程中缺乏配对高分辨率与低分辨率图像的真实世界图像超分挑战。
• 推动弱监督和无监督学习在超分领域的研究，以提升对真实世界图像退化形式的泛化能力。
• 建立一个评估无配对数据下超分模型的基准协议和数据集，重点关注感知质量而非传统指标。
• 通过在合成伪影和真实智能手机图像上测试方法，推进真实世界超分的最先进水平。
• 通过人类研究评估模型性能，优先考虑感知质量而非PSNR或SSIM等数值指标。

提出的方法

• 使用未公开的、复杂的退化算子在干净图像上模拟低端设备的图像处理伪影，以支持赛道1中的基于参考的评估。
• 在赛道1中，对所有训练、验证和测试图像应用相同的退化过程，以保持一致性并模拟真实世界的图像形成过程。
• 在赛道2中，使用无可用真实值的真实低质量iPhone图像，要求模型在无参考条件下生成感知上令人满意的输出。
• 仅使用无配对的源图像和一组独立的高质量目标图像进行模型训练，避免任何配对监督。
• 采用生成对抗网络（GANs）、域自适应和频域分离技术，以增强纹理和细节，同时保持真实感。
• 通过人类研究进行最终评估，因为主要目标是感知质量，而非PSNR或SSIM等数值指标。

实验结果

研究问题

• RQ1 当训练过程中未提供配对的高分辨率图像时，深度学习模型在真实世界图像上的超分性能如何？
• RQ2 在无配对设置下，基于GAN的方法和自监督方法在感知质量方面相较于传统PSNR优化模型的提升程度如何？
• RQ3 域自适应和循环一致性训练在真实世界超分中能否有效弥合低质量输入与高质量输出之间的差距？
• RQ4 频域分离和噪声注入技术在无配对超分中恢复真实纹理和精细细节方面的有效性如何？
• RQ5 在缺乏真实值监督的情况下，不同架构（例如残差网络、注意力模块、对抗训练）的相对性能如何？

主要发现

• 赛道1中表现最佳的方法在合成退化基准上取得了较高的PSNR和SSIM分数，表明其对已知伪影具有强大的泛化能力。
• 在赛道2中，由于缺乏真实值，通过人类评估按感知质量对模型进行排名，多个团队获得了较高的主观偏好得分。
• 采用对抗训练和频域解耦的方法在感知质量方面表现更优，即使PSNR并非最优。
• 域自适应和循环一致性GAN显著提升了在真实智能手机图像上的性能，有效缓解了分布偏移问题。
• 该挑战揭示了感知质量与PSNR之间并不总是相关，强调了在真实世界超分中人类评估的重要性。
• 多个团队成功在未知且复杂的退化算子下进行逆向学习，而无需先验知识，表明在无配对设置下具有强大的泛化能力。