[论文解读] Optimizing Generative Adversarial Networks for Image Super Resolution via Latent Space Regularization

Sheng Zhong, Shifu Zhou|arXiv (Cornell University)|Jan 22, 2020

Advanced Image Processing Techniques参考文献 27被引用 4

一句话总结

本文提出用于单图像超分辨率（SISR）生成对抗网络（GANs）的潜在空间正则化（LSR），通过学习的编码网络和潜在空间正则化项强制实现Lipschitz连续性，从而提升结构保真度并减少伪影。该方法在感知质量、清晰度和结构相似性方面优于SOTA模型如ESRGAN和SRGAN，L1误差更低，且在各类基准测试中表现更一致。

ABSTRACT

Natural images can be regarded as residing in a manifold that is embedded in a higher dimensional Euclidean space. Generative Adversarial Networks (GANs) try to learn the distribution of the real images in the manifold to generate samples that look real. But the results of existing methods still exhibit many unpleasant artifacts and distortions even for the cases where the desired ground truth target images are available for supervised learning such as in single image super resolution (SISR). We probe for ways to alleviate these problems for supervised GANs in this paper. We explicitly apply the Lipschitz Continuity Condition (LCC) to regularize the GAN. An encoding network that maps the image space to a new optimal latent space is derived from the LCC, and it is used to augment the GAN as a coupling component. The LCC is also converted to new regularization terms in the generator loss function to enforce local invariance. The GAN is optimized together with the encoding network in an attempt to make the generator converge to a more ideal and disentangled mapping that can generate samples more faithful to the target images. When the proposed models are applied to the single image super resolution problem, the results outperform the state of the art.

研究动机与目标

• 为了解决尽管有真实标签输入，基于GAN的图像超分辨率中仍存在的持续伪影和结构失真问题。
• 通过在潜在空间中强制实现局部不变性，提升生成高分辨率图像对真实标签的忠实度。
• 通过引入Lipschitz连续性约束，提升有监督SISR中GAN的训练稳定性和收敛性。
• 开发生成器与编码网络之间的联合优化框架，将图像映射到解耦且最优的潜在空间。
• 在感知质量和结构准确性方面超越现有SISR方法，如ESRGAN和SRGAN。

提出的方法

• 该方法引入一个耦合的编码网络，将高分辨率图像映射到低维潜在空间，其基础为Lipschitz连续性条件（LCC）。
• 利用Karush-Kuhn-Tucker（KKT）条件，将LCC重新表述为生成器损失函数中的正则化项，以强制实现局部不变性。
• 通过联合优化生成器与编码网络，确保生成器学习到对目标图像流形更理想、解耦的映射。
• 将基于LCC的正则化整合进GAN框架，特别在ESRGAN架构中引入相对性对抗损失和感知损失。
• 使用VGG19-conv54特征计算感知损失，并对Y通道应用L1归一化以进行定量评估。
• 在DIV2K数据集上端到端训练模型，并对不同损失组件和对抗目标进行消融研究。

实验结果

研究问题

• RQ1 在潜在空间中强制实现Lipschitz连续性是否能减少基于GAN的超分辨率中的结构失真和伪影？
• RQ2 将学习到的编码网络与GAN联合优化，是否能提升生成图像对真实标签的忠实度？
• RQ3 LSR与标准GAN及ESRGAN相比，在感知质量和结构相似性方面表现如何？
• RQ4 LSR方法是否能提升定量指标（如PSNR、SSIM和PI）的一致性并降低方差？
• RQ5 LSR框架是否可泛化至SISR以外的其他图像恢复任务？

主要发现

• 基于LSR的GAN在感知质量和结构保真度方面优于ESRGAN和SRGAN，视觉结果中纹理更清晰，伪影更少。
• CLSR模型在BSD100上的平均L1误差为0.420，PIRM为0.429，Urban为0.436，Set14为0.444，优于CESR在所有数据集上的表现。
• LSR模型的PSNR、SSIM和PI标准差更低，表明在测试集上性能更一致。
• CLSR模型纠正了ESRGAN和CESR结果中持续存在的结构失真，如模糊的斑马条纹和烟囱上的虚假线条。
• LSR方法在使用相对性对抗损失和基于余弦相似度的上下文损失时表现更优，表明其对对抗目标选择较为敏感。
• 尽管仅使用DIV2K数据集进行训练，LSR模型仍达到SOTA性能，表明其具备强大的泛化能力和鲁棒性。