[论文解读] Unsupervised Real-world Image Super Resolution via Domain-distance Aware Training

Yunxuan Wei, Shuhang Gu+2 more|arXiv (Cornell University)|Apr 2, 2020

Advanced Image Processing Techniques参考文献 62被引用 17

一句话总结

本文提出了一种新型无监督真实世界图像超分方法——领域距离感知超分（DASR），通过领域差距感知训练和领域距离加权监督，缓解了合成低分辨率（LR）图像与真实LR图像之间的领域差距。通过结合真实LR图像与生成的伪配对数据，DASR在真实世界数据集上实现了最先进性能，生成的纹理更加真实，感知质量更优。

ABSTRACT

These days, unsupervised super-resolution (SR) has been soaring due to its practical and promising potential in real scenarios. The philosophy of off-the-shelf approaches lies in the augmentation of unpaired data, i.e. first generating synthetic low-resolution (LR) images $\mathcal{Y}^g$ corresponding to real-world high-resolution (HR) images $\mathcal{X}^r$ in the real-world LR domain $\mathcal{Y}^r$, and then utilizing the pseudo pairs $\{\mathcal{Y}^g, \mathcal{X}^r\}$ for training in a supervised manner. Unfortunately, since image translation itself is an extremely challenging task, the SR performance of these approaches are severely limited by the domain gap between generated synthetic LR images and real LR images. In this paper, we propose a novel domain-distance aware super-resolution (DASR) approach for unsupervised real-world image SR. The domain gap between training data (e.g. $\mathcal{Y}^g$) and testing data (e.g. $\mathcal{Y}^r$) is addressed with our extbf{domain-gap aware training} and extbf{domain-distance weighted supervision} strategies. Domain-gap aware training takes additional benefit from real data in the target domain while domain-distance weighted supervision brings forward the more rational use of labeled source domain data. The proposed method is validated on synthetic and real datasets and the experimental results show that DASR consistently outperforms state-of-the-art unsupervised SR approaches in generating SR outputs with more realistic and natural textures.

研究动机与目标

• 解决无监督超分中合成低分辨率（LR）图像与真实世界LR图像之间的领域差距问题。
• 在无配对训练数据的前提下，提升超分结果在真实世界图像上的泛化能力与感知质量。
• 提出一种在领域自适应框架中有效利用真实LR图像与生成伪配对数据的训练策略。
• 通过建模合成与真实LR数据之间的分布差异，减少伪影并提升超分输出的纹理真实感。

提出的方法

• 提出领域差距感知训练，将真实LR图像引入对抗训练循环，使生成的LR分布与真实分布对齐。
• 提出领域距离加权监督，根据合成与真实LR图像之间的领域距离自适应重加权损失。
• 使用退化网络从真实高分辨率（HR）图像生成合成LR图像，形成用于监督训练的伪配对数据。
• 使用判别器衡量领域差异，并引导训练过程以最小化合成与真实LR数据之间的分布偏移。
• 结合真实LR图像的对抗损失与合成数据的感知/加权损失，联合训练超分网络。
• 调整训练目标，优先关注领域距离较高的样本，从而提升模型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 如何在无监督超分中有效减少合成LR图像与真实世界LR图像之间的领域差距？
• RQ2 在训练过程中引入真实LR图像是否能提升无监督SR模型在真实世界数据上的泛化能力？
• RQ3 领域距离加权监督是否能提升合成数据的利用效率并改善感知质量？
• RQ4 所提方法在真实世界基准测试中与最先进无监督SR方法相比表现如何？

主要发现

• 在RealSR数据集上，DASR取得SOTA性能，PSNR为26.782，LPIPS为0.228，显著优于FSSR及其他无监督方法。
• 在CameraSR数据集上，DASR取得PSNR 25.769与LPIPS 0.151，展现出优于FSSR与ZSSR的泛化能力与感知质量。
• 在用户偏好研究中，DASR在AIM挑战赛数据集上的MOS得分为2.60，优于FSSR（3.14）及其他无监督基线模型。
• 视觉结果表明，与FSSR及ZSSR相比，DASR在边缘与细节等复杂区域生成了更清晰的纹理并减少了伪影。
• 领域差距感知训练策略有效降低了合成与真实LR图像之间的分布差异，经由基于判别器的领域偏移分析得以验证。
• 领域距离加权监督通过在训练中聚焦更具挑战性的高领域距离样本，显著提升了模型的泛化能力。