[论文解读] Physics-Based Generative Adversarial Models for Image Restoration and Beyond

Jinshan Pan, Jiangxin Dong+6 more|arXiv (Cornell University)|Aug 2, 2018

Advanced Image Processing Techniques参考文献 59被引用 32

一句话总结

本文提出了一种物理约束生成对抗网络（GAN），通过基于图像退化模型的输入与重建图像之间的一致性约束，显著提升了去模糊、去雨和去雾等图像恢复任务的性能。通过将物理模型直接集成到 GAN 框架中，该方法在结构保真度和抗噪鲁棒性方面实现了最先进性能。

ABSTRACT

We present an algorithm to directly solve numerous image restoration problems (e.g., image deblurring, image dehazing, image deraining, etc.). These problems are highly ill-posed, and the common assumptions for existing methods are usually based on heuristic image priors. In this paper, we find that these problems can be solved by generative models with adversarial learning. However, the basic formulation of generative adversarial networks (GANs) does not generate realistic images, and some structures of the estimated images are usually not preserved well. Motivated by an interesting observation that the estimated results should be consistent with the observed inputs under the physics models, we propose a physics model constrained learning algorithm so that it can guide the estimation of the specific task in the conventional GAN framework. The proposed algorithm is trained in an end-to-end fashion and can be applied to a variety of image restoration and related low-level vision problems. Extensive experiments demonstrate that our method performs favorably against the state-of-the-art algorithms.

研究动机与目标

• 通过将物理退化模型作为约束，解决图像恢复问题的病态性质。
• 克服标准 GAN 在恢复过程中保持图像结构与细节的局限性。
• 在单一端到端框架中统一学习逆映射与物理一致性。
• 提升在去模糊、去雨和去雾等多样化低层视觉任务中的性能。
• 通过将基于物理的正则化嵌入 GAN 目标函数，增强训练稳定性和收敛性。

提出的方法

• 该方法将图像恢复建模为：重建图像必须满足基于物理的退化模型 y = H(x)，以确保输入 y 与输出 x 之间的一致性。
• 端到端训练物理约束 GAN，结合生成器 G 学习逆映射 G(y) ≈ x 和判别器以增强真实性。
• 损失函数包含一个物理一致性项，用于惩罚对退化模型 H(G(y)) ≈ y 的偏离，从而保证结构保真度。
• 生成器使用残差块（ResBlocks），并通过多个判别器提升训练稳定性和特征学习能力。
• 目标函数整合了对抗损失、感知损失以及带超参数 λ 的加权物理一致性损失，以平衡各项损失。
• 通过像素级损失、感知损失和基于物理的损失组合，实现端到端训练，生成高质量、逼真且物理一致的输出。

实验结果

研究问题

• RQ1 在输入与输出图像之间强制实施物理一致性是否能提升基于 GAN 的图像恢复性能？
• RQ2 将物理模型整合到 GAN 框架中，对结构保持与视觉质量有何影响？
• RQ3 所提出方法是否能在去模糊、去雨和去雾等多样化图像恢复任务中实现泛化？
• RQ4 该方法对图像噪声和复杂退化因素的鲁棒性如何？
• RQ5 超参数（如 λ 和 ResBlocks 数量）对性能与收敛性有何影响？

主要发现

• 在去模糊基准测试中，该方法达到 32.05 的 PSNR 和 0.9722 的 SSIM，优于最先进方法。
• 在去雨任务中，该方法达到 30.53 的 PSNR 和 0.9694 的 SSIM，相比基线 GAN 展现出更优的细节保持能力。
• 在高噪声水平（最高达 10%）下，该方法仍保持高 PSNR 和 SSIM，定量评估显示其在含噪模糊文本图像上表现稳健。
• 该方法在 200 个周期内实现稳定收敛，相比单判别器 GAN，收敛行为显著改善，尤其在应用物理约束时。
• 敏感性分析表明，该方法对 λ 的变化具有鲁棒性，最优性能出现在 λ = 50；对 ResBlocks 数量的敏感性较低，9 个块在精度与速度之间提供了良好平衡。
• 当退化过程复杂且涉及多重因素（如雨和霾同时存在）时，该方法表现受限，表明当物理模型无法准确捕捉复杂图像形成过程时存在局限性。