[论文解读] Region-wise Generative Adversarial ImageInpainting for Large Missing Areas

Yuqing Ma, Xianglong Liu+5 more|arXiv (Cornell University)|Sep 27, 2019

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出一种基于区域的生成对抗网络（GAN）框架用于图像修复，该框架在生成器和判别器中均采用区域卷积，分别处理现有区域与缺失区域，并引入相关性损失以捕捉非局部的块级依赖关系。该方法在多个基准测试中，对连续及不连续的大面积缺失区域均显著优于当前最先进方法。

ABSTRACT

Recently deep neutral networks have achieved promising performance for filling large missing regions in image inpainting tasks. They usually adopted the standard convolutional architecture over the corrupted image, leading to meaningless contents, such as color discrepancy, blur and artifacts. Moreover, most inpainting approaches cannot well handle the large continuous missing area cases. To address these problems, we propose a generic inpainting framework capable of handling with incomplete images on both continuous and discontinuous large missing areas, in an adversarial manner. From which, region-wise convolution is deployed in both generator and discriminator to separately handle with the different regions, namely existing regions and missing ones. Moreover, a correlation loss is introduced to capture the non-local correlations between different patches, and thus guides the generator to obtain more information during inference. With the help of our proposed framework, we can restore semantically reasonable and visually realistic images. Extensive experiments on three widely-used datasets for image inpainting tasks have been conducted, and both qualitative and quantitative experimental results demonstrate that the proposed model significantly outperforms the state-of-the-art approaches, both on the large continuous and discontinuous missing areas.

研究动机与目标

• 解决现有图像修复方法在处理大面积连续缺失区域时存在的局限性，如纹理模糊、颜色不一致及伪影问题。
• 开发一种统一且通用的框架，能够在单一架构中有效恢复连续与不连续的大面积缺失区域。
• 通过使用区域卷积对现有区域与缺失区域分别建模特征表示，提升语义一致性和视觉真实感。
• 通过新颖的相关性损失捕捉图像块之间的非局部依赖关系，增强长距离上下文理解能力。
• 在缺失区域尺寸增大时仍保持鲁棒且稳定的性能表现，尤其在具有挑战性的连续孔洞场景中表现更优。

提出的方法

• 生成器采用两个连续的编码器-解码器网络，联合推断缺失内容，同时利用区域卷积对现有区域与缺失区域进行独立处理。
• 引入相关性损失以建模块间非局部依赖关系，使生成器能够获取全局上下文信息，实现更精确的重建。
• 判别器采用区域卷积，在区域级别区分真实图像与生成图像，提升对抗训练的稳定性和生成结果的真实感。
• 框架整合对抗损失、感知损失与相关性损失，以同时提升局部细节与全局语义一致性。
• 在生成器与判别器中均应用区域卷积，实现对现有区域与缺失区域的专用处理，避免共享滤波器带来的性能折衷。
• 采用对抗损失、感知损失与相关性损失的组合，实现端到端训练，以优化视觉真实感与结构保真度。

实验结果

研究问题

• RQ1 统一的 GAN 框架能否有效处理图像修复中连续与不连续的大面积缺失区域？
• RQ2 与标准卷积相比，生成器与判别器中使用区域卷积是否能提升在大面积缺失区域上的性能表现？
• RQ3 相关性损失在建模非局部块依赖关系方面，能在多大程度上提升重建质量？
• RQ4 随着缺失区域尺寸增大，该方法与当前最先进方法相比在鲁棒性方面表现如何？
• RQ5 该框架能否在实际应用（如去除不需要的物体）中生成语义合理且视觉逼真的结果？

主要发现

• 在 CelebA-HQ、Paris Street View 与 Places2 数据集上，该方法在连续与不连续缺失区域上均取得最佳综合性能，FID、PSNR 以及 L1/L2 指标持续领先。
• 在连续缺失区域上，该方法显著优于 EC、PConv 与 PIC，FID 分数远低于当前最先进方法。
• 随着掩码尺寸增大，模型保持稳定性能，退化速度慢于其他方法，表明对大孔洞具有更强鲁棒性。
• 在像素级重建方面，该方法在不连续掩码上取得最佳 L2 得分，证明相关性损失有助于更优的细节恢复。
• 相关性损失有助于更好地捕捉长距离依赖关系，使生成区域的纹理与结构更加连贯、逼真。
• 该框架能成功去除复杂形状的物体与水印，生成自然逼真的结果，证实其在图像编辑任务中的实际应用价值。