[论文解读] Semantic Image Inpainting with Deep Generative Models

Raymond A. Yeh, Chen Chen+4 more|arXiv (Cornell University)|Jul 26, 2016

Generative Adversarial Networks and Image Synthesis被引用 69

一句话总结

本文提出了一种基于深度生成模型的语义图像修复方法，通过潜在空间优化对损坏图像进行条件生成，利用上下文损失和先验损失来推断大范围缺失区域中的真实内容。该方法在感知质量和真实性方面优于SOTA方法（如Context Encoder），尤其在复杂、不规则形状的孔洞上表现更优，且推理过程中无需掩码信息。

ABSTRACT

Semantic image inpainting is a challenging task where large missing regions have to be filled based on the available visual data. Existing methods which extract information from only a single image generally produce unsatisfactory results due to the lack of high level context. In this paper, we propose a novel method for semantic image inpainting, which generates the missing content by conditioning on the available data. Given a trained generative model, we search for the closest encoding of the corrupted image in the latent image manifold using our context and prior losses. This encoding is then passed through the generative model to infer the missing content. In our method, inference is possible irrespective of how the missing content is structured, while the state-of-the-art learning based method requires specific information about the holes in the training phase. Experiments on three datasets show that our method successfully predicts information in large missing regions and achieves pixel-level photorealism, significantly outperforming the state-of-the-art methods.

研究动机与目标

• 解决大范围、不规则形状区域缺失的语义图像修复挑战，要求超越局部图像先验的高层语义理解。
• 克服单图修复方法在大孔洞上失效的局限，因其缺乏上下文和结构信息。
• 开发一种方法，可在无需孔洞特定训练数据或推理时掩码监督的情况下，泛化于多种孔洞形状与结构。
• 通过对抗训练和潜在空间优化，改进Context Encoder，实现更清晰、更逼真的结果。
• 通过在潜在空间中同时利用图像上下文和学习到的图像先验，实现鲁棒且感知质量更优的图像补全。

提出的方法

• 在数据集上训练一个深度生成模型（具体为GAN），以学习自然图像的底层数据流形。
• 对于具有缺失区域的损坏图像，通过最小化上下文损失和先验损失的加权组合，在潜在空间中搜索最接近的潜在码。
• 上下文损失确保重建图像与输入中已知部分匹配，保持结构一致性。
• 先验损失通过判别器区分真实与生成图像的能力，惩罚不真实的图像样本。
• 使用优化后的潜在码通过训练好的生成器生成完整图像，实现高保真、逼真的图像修复。
• 该方法为端到端设计，推理过程中无需掩码信息，适用于任意形状的孔洞。

实验结果

研究问题

• RQ1 能否有效利用深度生成模型推断大范围、不规则形状图像区域中的缺失语义内容？
• RQ2 如何在不依赖推理时显式掩码监督的情况下，对损坏输入进行图像生成条件化？
• RQ3 通过结合上下文损失和先验损失优化预训练GAN的潜在码，是否能获得比固定架构端到端训练更真实、更清晰的修复结果？
• RQ4 与现有学习型方法（如Context Encoder）相比，所提方法在感知质量与结构保真度方面提升程度如何？
• RQ5 在真实标签非唯一的情况下，PSNR和SSIM等定量指标在语义修复中与人类感知的相关性如何？

主要发现

• 所提方法在感知质量上显著优于Context Encoder，尤其在大孔洞或不规则形状孔洞的挑战性案例中，边缘更清晰，伪影更少。
• 在CelebA、SVHN和Stanford Cars数据集上，该方法在视觉真实感方面优于SOTA的Context Encoder，尽管某些情况下PSNR值更低。
• 对于最多缺失80%像素的随机掩码，该方法在PSNR上优于Context Encoder（如SVHN上为33.0 dB vs. 24.1 dB），表明在高噪声条件下具有更好的重建保真度。
• 通过定性比较和误差分析确认，该方法生成的图像在视觉上更逼真，尽管某些情况下PSNR值较低，这是由于生成内容的分布差异所致。
• 失败案例出现在生成模型无法在流形中找到同时满足上下文和先验约束的有效潜在码时，尤其在模型能力范围之外的复杂场景中。
• PSNR和SSIM等定量指标并不总能反映感知质量，因为Context Encoder更高的PSNR值并未对应更好的视觉效果，凸显了传统指标在语义修复中的局限性。