[论文解读] Semi-parametric Image Inpainting

Karim Iskakov|arXiv (Cornell University)|Jul 8, 2018

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 12

一句话总结

本文提出了一种半参数化图像修复方法，通过在推理过程中引入外部数据库中相似图像作为辅助输入，提升深度神经网络的性能。结合基于内容的图像检索与U-Net类架构，该方法在CelebA-HQ数据集上使用自定义的人工绘制遮罩数据集进行验证，相较于先前方法在不规则孔洞修复上取得了更逼真的结果，用户研究与定量指标均证实了其优越性。

ABSTRACT

This paper introduces a semi-parametric approach to image inpainting for irregular holes. The nonparametric part consists of an external image database. During test time database is used to retrieve a supplementary image, similar to the input masked picture, and utilize it as auxiliary information for the deep neural network. Further, we propose a novel method of generating masks with irregular holes and present public dataset with such masks. Experiments on CelebA-HQ dataset show that our semi-parametric method yields more realistic results than previous approaches, which is confirmed by the user study.

研究动机与目标

• 通过在推理过程中引入来自相似图像的辅助信息，提升图像修复的真实感。
• 解决现有方法仅依赖掩码输入、缺乏外部上下文信息的局限性。
• 构建一个公开可用的、由人工绘制笔触生成的不规则遮罩数据集，以实现更真实的评估。
• 证明外部图像检索可显著提升基于深度学习的图像修复的视觉质量。

提出的方法

• 该方法采用类似U-Net的卷积神经网络，输入为掩码图像和来自外部数据库的相似图像。
• 通过VGG-16特征进行基于内容的图像检索，提供语义与结构上的引导。
• 网络采用多尺度损失函数，结合L1损失、感知损失与对抗损失，以提升真实感与细节保真度。
• 提出一种新颖的不规则遮罩生成流程，利用Quick, Draw!数据集中的矢量绘图生成多样且类人行为的遮罩。
• 评估时采用单张（Sim-1）与零张（Sim-0）辅助图像，与Telea和PConv基线方法进行对比。
• 外部数据库作为非参数化记忆库，使模型能够复制并适配来自相似图像的特征。

实验结果

研究问题

• RQ1 将外部相似图像整合是否能显著提升基于深度学习的图像修复的真实感？
• RQ2 与规则或合成遮罩相比，使用人工生成的不规则遮罩对模型性能有何影响？
• RQ3 辅助图像检索在多大程度上提升了修复区域的细节一致性与结构连贯性？
• RQ4 半参数化修复的失败模式是什么？其与训练数据多样性及损失函数设计有何关联？

主要发现

• 所提方法Sim-1在用户研究中取得51%的胜率，显著优于PConv（31%）及其他基线方法。
• Sim-1在L1与FID指标上优于所有基线方法，尤其在孔洞面积占图像比例较高时表现更优。
• 当辅助输入为随机或噪声图像时，模型输出发生改变，证实辅助图像对生成过程具有主动影响。
• 失败案例包括模糊结果、不自然的细节（如不自然的眼睛）以及不一致的妆容风格，表明模型在泛化能力与训练数据多样性方面仍存在局限。
• 该方法对不同形状的遮罩表现出鲁棒性，且在较大孔洞上性能提升明显，表明其在不规则结构上具有较强的泛化能力。