[论文解读] Shape-guided Object Inpainting

Yu Zeng, Zhe Lin+1 more|arXiv (Cornell University)|Apr 16, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出了一种新型任务——形状引导的物体修复（shape-guided object inpainting），即模型根据物体形状和上下文环境生成完整且语义一致的物体以填充孔洞。作者提出CogNet，一种具有预测类别嵌入和自顶向下物体生成的双流生成网络，在Places2和COCO数据集上分别实现了最低3.801和4.700的FID分数，达到当前最优性能。

ABSTRACT

Previous works on image inpainting mainly focus on inpainting background or partially missing objects, while the problem of inpainting an entire missing object remains unexplored. This work studies a new image inpainting task, i.e. shape-guided object inpainting. Given an incomplete input image, the goal is to fill in the hole by generating an object based on the context and implicit guidance given by the hole shape. Since previous methods for image inpainting are mainly designed for background inpainting, they are not suitable for this task. Therefore, we propose a new data preparation method and a novel Contextual Object Generator (CogNet) for the object inpainting task. On the data side, we incorporate object priors into training data by using object instances as holes. The CogNet has a two-stream architecture that combines the standard bottom-up image completion process with a top-down object generation process. A predictive class embedding module bridges the two streams by predicting the class of the missing object from the bottom-up features, from which a semantic object map is derived as the input of the top-down stream. Experiments demonstrate that the proposed method can generate realistic objects that fit the context in terms of both visual appearance and semantic meanings. Code can be found at the project page \url{https://zengxianyu.github.io/objpaint}

研究动机与目标

• 填补图像修复研究中的空白，该研究长期以来集中于背景或部分物体的填充，而非完整物体的重建。
• 通过在训练数据中引入物体先验，克服现有修复模型在背景生成上的固有偏差。
• 设计一种深度生成模型，结合自底向上的上下文传播与自顶向下的语义物体生成，以提升视觉和语义的一致性。
• 实现上下文感知、语义上有意义的物体生成，使其与周围场景的光照、色彩和风格保持一致。

提出的方法

• 提出一种新的数据准备方法，在训练过程中使用物体实例作为孔洞，替代随机掩码，以嵌入物体先验。
• 设计一种双流架构：自底向上的流用于基于上下文的图像补全，自顶向下的流用于语义物体生成。
• 引入预测类别嵌入（Predictive Class Embedding, PCE）模块，从自底向上的特征中推断缺失物体的类别，以指导自顶向下的生成。
• 将从预测类别和孔洞掩码生成的语义物体图作为输入送入自顶向下的流，以确保空间和语义的一致性。
• 使用对抗损失和感知损失进行端到端训练，以确保生成结果的逼真外观和高层语义对齐。
• 在自顶向下的流中利用潜在噪声向量，为同一输入生成多样化且合理的物体变体。

实验结果

研究问题

• RQ1 图像修复模型能否被调整以生成完整物体，而不仅仅是背景或部分物体？
• RQ2 如何重构训练数据，以减少现有模型对背景生成的偏差？
• RQ3 为确保生成物体在视觉真实性和语义一致性方面表现良好，需要哪些架构组件？
• RQ4 与纯自底向上的上下文建模相比，自顶向下的语义引导在物体修复中的提升程度如何？
• RQ5 模型能否通过使用不同的潜在代码，为同一输入生成多样化且上下文一致的物体？

主要发现

• 所提方法在COCO、Places2和Cityscapes数据集上均达到当前最优性能，FID分数分别为4.700、3.801和7.411。
• 消融实验表明，若移除预测类别嵌入或自顶向下流，FID分数将提升超过1.0分，证明二者具有关键作用。
• 若未使用物体先验的训练数据，模型将无法生成物体，而是用类似背景的纹理填充孔洞。
• 如图7所示，模型在多个随机潜在代码下均能生成多样化且上下文一致的物体实例。
• 定量结果表明，所提方法在所有指标上均优于CoModGAN、DeepFillV2和RFR，尤其在FID和LPIPS指标上表现更优。
• 定性结果证实，生成的物体在视觉上逼真，语义上合理，且在光照和风格方面与场景上下文高度一致。