[论文解读] StructureFlow: Image Inpainting via Structure-aware Appearance Flow

Yurui Ren, Xiaoming Yu+4 more|arXiv (Cornell University)|Aug 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 56

一句话总结

StructureFlow 将图像修复分解为结构重建与纹理生成，使用边缘保持的平滑图像作为全局结构指导，并通过高斯采样的 appearance flow 进行纹理合成以受重建结构的引导。

ABSTRACT

Image inpainting techniques have shown significant improvements by using deep neural networks recently. However, most of them may either fail to reconstruct reasonable structures or restore fine-grained textures. In order to solve this problem, in this paper, we propose a two-stage model which splits the inpainting task into two parts: structure reconstruction and texture generation. In the first stage, edge-preserved smooth images are employed to train a structure reconstructor which completes the missing structures of the inputs. In the second stage, based on the reconstructed structures, a texture generator using appearance flow is designed to yield image details. Experiments on multiple publicly available datasets show the superior performance of the proposed network.

研究动机与目标

• 使用边缘保持的平滑图像作为结构指导，以改进修复中的全局结构恢复。
• 通过从具有相似结构的区域采样特征，启用生动的纹理合成。
• 通过高斯采样和采样正确性损失稳定 appearance flow 的训练。
• 在多样数据集上展示有效性并分析消融以验证组件。

提出的方法

• 两阶段结构：结构重建器 Gs 与纹理生成器 Gt。
• 结构重建器使用边缘保持的平滑图像 Se 作为指导，并通过对抗训练对 Sgt 施加最小化 L1 损失。
• 纹理生成器使用 appearance flow 基于重建的结构变形并从现有区域采样特征，辅以采样正确性损失。
• 高斯采样替代 appearance flow 中的双线性采样以扩展感受野。
• 训练包含 L1、对抗以及采样正确性损失项，采用阶段性预训练随后微调。

实验结果

研究问题

• RQ1 边缘保持的平滑结构是否能够有效指导修复中的全局结构重建？
• RQ2 通过带高斯采样的 appearance flow 指导纹理生成，是否能产生更真实的纹理和更连贯的结构？
• RQ3 对不同数据集的结构指导、流采样和损失项的消融如何影响修复质量？

主要发现

• StructureFlow 在 Places2 上的 PSNR、SSIM、FID 与 CA、EdgeConnect、PConv 相比具有竞争力。
• 主观用户研究显示 StructureFlow 在高度结构化场景（Celeba 与 Paris）优于竞争对手，在 Places2 上保持竞争力。
• 消融显示包括结构重建器可提高性能；过少或过多的平滑（sigma）会降低结果；带高斯采样的 appearance flow 与采样正确性损失可提供更好的纹理真实感和流稳定性。
• 高斯采样扩展 appearance flow 的感受野，缓解梯度传播问题，实现长距离特征匹配。
• 基于 VGG 特征余弦相似度的采样正确性损失有助于将采样约束于语义相关区域。