[论文解读] Natural and Realistic Single Image Super-Resolution with Explicit Natural Manifold Discrimination

Jae Woong Soh, Gu Yong Park+2 more|arXiv (Cornell University)|Nov 9, 2019

Advanced Image Processing Techniques参考文献 39被引用 5

一句话总结

本文提出了一种名为 NatSR 的新型单图像超分辨率方法，通过在低层次图像域中显式建模自然流形，提升了感知质量。通过引入基于 CNN 的自然流形判别器，该方法将超分辨率输出约束在自然图像流形内，相较于 SRFAN 和 SFT-GAN 等最先进的感知导向方法，能有效减少伪影并生成更真实的纹理。

ABSTRACT

Recently, many convolutional neural networks for single image super-resolution (SISR) have been proposed, which focus on reconstructing the high-resolution images in terms of objective distortion measures. However, the networks trained with objective loss functions generally fail to reconstruct the realistic fine textures and details that are essential for better perceptual quality. Recovering the realistic details remains a challenging problem, and only a few works have been proposed which aim at increasing the perceptual quality by generating enhanced textures. However, the generated fake details often make undesirable artifacts and the overall image looks somewhat unnatural. Therefore, in this paper, we present a new approach to reconstructing realistic super-resolved images with high perceptual quality, while maintaining the naturalness of the result. In particular, we focus on the domain prior properties of SISR problem. Specifically, we define the naturalness prior in the low-level domain and constrain the output image in the natural manifold, which eventually generates more natural and realistic images. Our results show better naturalness compared to the recent super-resolution algorithms including perception-oriented ones.

研究动机与目标

• 解决以失真为导向的 SISR 模型产生的模糊、平均化结果缺乏精细纹理的问题。
• 克服基于感知损失的方法生成不自然伪影和卡通化细节的问题。
• 在低层次域中显式建模自然图像流形，以引导超分辨率生成更真实的输出。
• 开发一种不依赖高层语义先验或类别特定监督的模型，以保持高感知质量。
• 通过使用学习到的判别器将输出空间约束在自然流形内，实现感知真实感与自然感之间的平衡。

提出的方法

• 将低分辨率到高分辨率（LR-HR）映射建模为一对一多的问题，将 HR 空间划分为自然与非自然流形。
• 设计一个基于 CNN 的自然流形判别器（NMD），用于区分低层次域中自然与非自然的图像块。
• 将 NMD 集成到生成框架中，在训练过程中惩罚位于自然流形之外的输出。
• 在生成器中使用分形残差学习（FRL）以提升特征复用性和训练稳定性。
• 使用混合损失进行模型训练：包括用于像素级保真度的失真导向损失（如 L1/L2）和用于自然感的 NMD 损失。
• 在对抗性训练过程中应用 NMD 损失，以引导生成器产出真实、无伪影的纹理。

实验结果

研究问题

• RQ1 在低层次域中显式建模自然图像流形是否能提升单图像超分辨率中的感知质量？
• RQ2 通过低层次判别器施加自然感，与高层语义监督相比，在真实感和伪影抑制方面表现如何？
• RQ3 自然流形判别器是否能有效减少幻觉或不自然的纹理，同时保留精细细节？
• RQ4 所提方法是否在感知质量上优于最先进的 GAN 基和感知导向的 SISR 模型？
• RQ5 NMD 损失在不降低重建保真度的前提下，能在多大程度上提升自然感？

主要发现

• 在 BSD100 数据集上，NatSR 的 NIQE 得分为 0.6675，排名第二，且在 NQSR 上也位列第二，表明其与人类判断具有较强的感知一致性。
• 在 DIV2K 验证集上，NatSR 生成的图像在视觉上比 SRGAN、EnhanceNet 和 SFT-GAN 更自然，伪影更少，纹理更合理。
• FRSR 变体（失真导向）在 Urban100 基准上实现了与 EDSR 相当的 PSNR（27.72）和 SSIM（0.7414），尽管参数量更少（4.9M vs. 43M）。
• 主观 MOS 评估表明，NatSR 被认为比 SRGAN 和 EnhanceNet 更自然真实，而 SFT-GAN 在建筑细节上表现出明显伪影。
• NMD 损失有效抑制了噪声和模糊输出，表现为相比其他感知导向模型，其 NR-IQA 指标（NIQE 和 NQSR）更低。
• 该方法在泛化能力上优于 SFT-GAN，因其无需类别特定的语义先验，且在分布外输入上不会出现性能退化。