[论文解读] SC-FEGAN: Face Editing Generative Adversarial Network with User's Sketch and Color

Youngjoo Jo, Jongyoul Park|arXiv (Cornell University)|Feb 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 38

一句话总结

SC-FEGAN 提供一个端到端可训练的 GAN 系统，使用自由形态蒙版、草图和颜色输入对人脸进行编辑，即使在大面积区域被抹除时也能产生高质量的结果。它采用带门控卷积的 U-Net 风格生成器和 SN-PatchGAN 判别器，并通过风格和感知损失进行增强。

ABSTRACT

We present a novel image editing system that generates images as the user provides free-form mask, sketch and color as an input. Our system consist of a end-to-end trainable convolutional network. Contrary to the existing methods, our system wholly utilizes free-form user input with color and shape. This allows the system to respond to the user's sketch and color input, using it as a guideline to generate an image. In our particular work, we trained network with additional style loss which made it possible to generate realistic results, despite large portions of the image being removed. Our proposed network architecture SC-FEGAN is well suited to generate high quality synthetic image using intuitive user inputs.

研究动机与目标

• 推动一个支持自由形式输入（蒙版、草图、颜色）的交互式人脸编辑工具。
• 开发一个端到端可训练的网络，能够在 512x512 人脸图像上实现高质量的修补与编辑。
• 在用户引导和专门损失的帮助下，即使大部分人脸被抹除，也能实现真实的恢复。

提出的方法

• 使用带门控卷积的 U-Net 架构的全卷积生成器以处理掩模区域。
• 将 SN-PatchGAN 作为判别器并应用梯度惩罚以实现稳定训练。
• 采用由像素级、感知、风格、全变差以及 GAN 损失组成的复合损失进行训练。
• 将输入通道扩展为包含不完整图像、蒙版、草图、颜色图和噪声。
• 结合自由形式蒙版、眼部蒙版以及从 CelebA-HQ 派生的颜色/草图域来创建训练数据。
• 在卷积后应用 LRN，并在生成器输出处使用 tanh 激活。

实验结果

研究问题

• RQ1 自由形态蒙版、草图与颜色输入是否能够引导 GAN 实现对人脸区域（包括头发和配饰）的真实编辑或修复？
• RQ2 风格损失和感知损失是否在大面积抹除区域上相较纯 GAN 基于的修复提高真实感和边缘质量？
• RQ3 带门控卷积的 SN-PatchGAN 是否能实现稳定训练与高质量的交互式人脸编辑输出？
• RQ4 SC-FEGAN 与先前方法（如 DeepFill 变体、FaceShop）在处理大面积抹除和用户引导编辑方面有何对比？
• RQ5 当整个面部区域（如头发）被抹除，只提供草图/颜色引导时，系统是否仍能产生合理的编辑？

主要发现

• 提出的 SC-FEGAN 在定性比较中，相较粗糙-细化或 U-Net 基线，具有更高的质量和更真实的编辑效果。
• 使用基于 VGG 的感知和风格损失进行训练，尤其在大面积抹除区域的结果得到改善。
• 带梯度惩罚的 SN-PatchGAN 判别器稳定训练并在蒙版边界处提升边缘清晰度。
• 系统能够使用自由形式草图和颜色输入编辑面部形状、发型、眼睛颜色，以及像耳环等配饰，即使存在大面积擦除。
• 在 CelebA-HQ 数据集上，该模型对 512x512 图像实现快速推理（GPU 约 44 ms）。