[论文解读] Real-World Single Image Super-Resolution: A Brief Review

Honggang Chen, Xiaohai He+4 more|arXiv (Cornell University)|Mar 3, 2021

Advanced Image Processing TechniquesComputer Science参考文献 136被引用 22

一句话总结

本文全面回顾了真实世界单图像超分辨率（RSISR），分析了退化建模、图像对、域迁移和自学习方法。文章强调了关键数据集、评估指标以及领域差距、模型效率和缺乏无参考评估等挑战，为超越合成数据的实际RSISR应用提供了关键路线图。

ABSTRACT

Single image super-resolution (SISR), which aims to reconstruct a high-resolution (HR) image from a low-resolution (LR) observation, has been an active research topic in the area of image processing in recent decades. Particularly, deep learning-based super-resolution (SR) approaches have drawn much attention and have greatly improved the reconstruction performance on synthetic data. Recent studies show that simulation results on synthetic data usually overestimate the capacity to super-resolve real-world images. In this context, more and more researchers devote themselves to develop SR approaches for realistic images. This article aims to make a comprehensive review on real-world single image super-resolution (RSISR). More specifically, this review covers the critical publically available datasets and assessment metrics for RSISR, and four major categories of RSISR methods, namely the degradation modeling-based RSISR, image pairs-based RSISR, domain translation-based RSISR, and self-learning-based RSISR. Comparisons are also made among representative RSISR methods on benchmark datasets, in terms of both reconstruction quality and computational efficiency. Besides, we discuss challenges and promising research topics on RSISR.

研究动机与目标

• 通过回顾近期RSISR的进展，解决合成数据与真实世界图像超分辨率之间的性能差距。
• 识别并分析现有基于深度学习的SISR方法在真实世界图像上应用时，由于领域偏移导致的局限性。
• 总结对训练和基准测试RSISR模型至关重要的公开可用数据集和评估指标。
• 考察四类主要RSISR方法：退化建模、图像对、域迁移和自学习方法。
• 突出RSISR中的开放性挑战，包括模型效率、数据稀缺性以及对无参考质量评估的需求。

提出的方法

• 将RSISR方法分为四类：基于退化建模、基于图像对、基于域迁移和基于自学习的方法。
• 回顾了Real-ESRGAN、DIV2K等关键数据集，这些数据集被用于RSISR模型的训练与评估。
• 分析了PSNR、SSIM等标准评估指标，并讨论其在评估超分辨率图像感知质量方面的局限性。
• 在基准数据集上，从重建质量与计算效率两方面比较代表性RSISR方法。
• 基于输入数据类型、学习范式和退化建模策略，提出RSISR技术的分类体系。
• 讨论了真实退化建模和多分辨率图像对齐在提升性能方面的重要性。

实验结果

研究问题

• RQ1 现有基于深度学习的SISR方法在真实世界图像上的表现与合成数据相比如何？
• RQ2 影响SR性能的合成图像与真实世界图像之间的退化模式存在哪些关键差异？
• RQ3 在真实世界部署中，哪些RSISR方法类别（如退化建模、自监督学习）最具前景？
• RQ4 PSNR和SSIM等当前评估指标在评估超分辨率图像感知质量方面存在哪些局限性？
• RQ5 如何在无需成对训练数据的情况下，使RSISR模型更高效并适应各种真实世界图像退化？

主要发现

• 基于深度学习的SISR方法在合成数据上表现优异，但在真实世界图像上因领域差距导致性能显著下降。
• 使用Real-ESRGAN和DIV2K等真实数据集显著提升了RSISR性能，但更大、更多样化数据集仍亟需。
• PSNR和SSIM虽被广泛使用，但与人类感知的相关性较差，尤其在真实世界图像上表现不佳。
• 基于自学习和域迁移的RSISR方法在减少对成对训练数据依赖方面展现出潜力。
• 模型效率和推理速度仍是关键挑战，因许多最先进RSISR模型计算开销巨大。
• 在无HR参考的实际部署场景中，迫切需要无参考质量评估指标。