[论文解读] Patch-Based Image Inpainting with Generative Adversarial Networks

Uğur Demir, Gözde Ünal|arXiv (Cornell University)|Mar 20, 2018

Advanced Image Processing Techniques参考文献 6被引用 94

一句话总结

Demir 与 Unal 提出 PGGAN，一种基于 GAN 的修复模型，将全局判别器（G-GAN）与基于补丁的判别器（PatchGAN）结合起来，并共享前端层，以同时捕捉全局结构和局部纹理，从而实现高质量的大孔洞修复。

ABSTRACT

Area of image inpainting over relatively large missing regions recently advanced substantially through adaptation of dedicated deep neural networks. However, current network solutions still introduce undesired artifacts and noise to the repaired regions. We present an image inpainting method that is based on the celebrated generative adversarial network (GAN) framework. The proposed PGGAN method includes a discriminator network that combines a global GAN (G-GAN) architecture with a patchGAN approach. PGGAN first shares network layers between G-GAN and patchGAN, then splits paths to produce two adversarial losses that feed the generator network in order to capture both local continuity of image texture and pervasive global features in images. The proposed framework is evaluated extensively, and the results including comparison to recent state-of-the-art demonstrate that it achieves considerable improvements on both visual and quantitative evaluations.

研究动机与目标

• 通过捕捉全局图像结构和局部纹理细节，推动大范围缺失区域修复质量的提升。
• 提出一种将全局 GAN 与 PatchGAN 结合并具有共享与分离路径的判别器。
• 通过扩张卷积和插值卷积加强生成器训练，以提升纹理合成并减少伪影。
• 进行消融研究以理解各组件的贡献并与最先进方法进行比较。

提出的方法

• 使用基于 ResNet 的生成器，包含下采样、残差块和上采样；采用扩张卷积和插值卷积以增大感受野并避免棋盘伪影。
• 设计 PGGAN：一个在 G-GAN 与 PatchGAN 路径上共享早层的判别器，然后分为两个输出，用于整体图像真实感和局部补丁真实感。
• 使用联合损失进行训练：重建损失（L1）、g_adv（G-GAN 路径）、p_adv（PatchGAN 路径），并在总损失中通过权重进行平衡。
• 引入三种损失分量：L_rec = L1 距离、L_GAN 和 L_pGAN，使用 Adam 优化。
• 在 Paris Street View、Google Street View 和 Places 数据集上使用 256x256 和 512x512 图像尺寸进行评估。

实验结果

研究问题

• RQ1 将全局图像真实感与补丁级纹理真实感结合，是否能提升大范围缺失区域的修复质量？
• RQ2 共享的早期层加上双对抗路径是否能更好地实现全局连贯性和局部纹理？
• RQ3 扩张/插值卷积对纹理合成和修复中的伪影降低有何影响？
• RQ4 在定量指标和感知质量方面，PGGAN 相对于最先进的修复方法有何比较？

主要发现

• PGGAN 在 256x256 Paris Street View 的 PSNR 和 SSIM 更高，同时 L1/L2 损失低于 CE 和 GLGAN。
• 在 256x256 Paris Street View 上，PGGAN-DRes 和 PGGAN-Res 在 PSNR 和 SSIM 上超越 CE 和 GLGAN，重建误差更低。
• 对于 512x512 Paris Street View，PGGAN-DRes 超越 NPS，获得更低的 L1/L2 损失以及更高的 PSNR 和 SSIM。
• 感知评价倾向于 PGGAN 变体胜过 CE 和 GLGAN，表明修复结果的自然性提升。
• 消融研究表明，将 G-GAN 与 PatchGAN 判别器结合可获得在视觉和定量上优于单独使用任一的结果。