[论文解读] Reference-guided Face Component Editing

Qiyao Deng, Jie Cao+4 more|arXiv (Cornell University)|Jun 3, 2020

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 5

一句话总结

本文提出 r-FACE，一种基于参考图像的面部组件编辑框架，通过使用未配对的参考图像，实现对高层面部组件（如眼睛、鼻子、嘴巴）的多样化、可控且几何精确的编辑。该框架利用图像修复模型作为主干网络，并通过示例引导注意力模块聚焦于目标组件，从而无需手动绘制掩码或草图，实现了面部编辑质量与形状一致性的最先进性能。

ABSTRACT

Face portrait editing has achieved great progress in recent years. However, previous methods either 1) operate on pre-defined face attributes, lacking the flexibility of controlling shapes of high-level semantic facial components (e.g., eyes, nose, mouth), or 2) take manually edited mask or sketch as an intermediate representation for observable changes, but such additional input usually requires extra efforts to obtain. To break the limitations (e.g. shape, mask or sketch) of the existing methods, we propose a novel framework termed r-FACE (Reference-guided FAce Component Editing) for diverse and controllable face component editing with geometric changes. Specifically, r-FACE takes an image inpainting model as the backbone, utilizing reference images as conditions for controlling the shape of face components. In order to encourage the framework to concentrate on the target face components, an example-guided attention module is designed to fuse attention features and the target face component features extracted from the reference image. Through extensive experimental validation and comparisons, we verify the effectiveness of the proposed framework.

研究动机与目标

• 解决现有面部编辑方法依赖预定义属性或手动创建的掩码与草图的局限性。
• 实现对眼睛、鼻子、嘴巴等高层面部组件的灵活、形状可控的编辑。
• 通过使用未配对的参考图像作为形状引导，消除对精确中间表示（如掩码、草图）的需求。
• 在组件迁移过程中保持身份一致性、姿态、肤色和拓扑结构。
• 开发一种支持多样化编辑应用（包括数据增强和人脸互换）的框架。

提出的方法

• 该框架以图像修复模型作为主干，输入为源图像（部分损坏）和掩码。
• 参考图像用作形状条件，其特征通过专用嵌入网络 $\mathcal{E}_r$ 进行编码。
• 示例引导注意力模块将修复网络的特征与参考图像的特征融合，特别聚焦于目标面部组件。
• 模型通过三种损失函数进行训练：上下文损失（用于约束形状相似性）、风格损失（用于保持肤色）和感知损失（用于维持结构一致性）。
• 注意力模块通过仅强调参考图像中相关面部组件区域，增强特征对齐。
• 该框架无需配对图像，可使用任意其他身份的参考图像进行编辑。

实验结果

研究问题

• RQ1 是否可以在不依赖精确掩码或草图作为中间引导的情况下实现面部组件编辑？
• RQ2 深度学习模型如何有效将参考图像中面部组件的几何形状迁移到源图像？
• RQ3 注意力机制在图像生成过程中对特定面部组件的聚焦程度在多大程度上得到提升？
• RQ4 在实现面部组件大幅几何变化的同时，哪些损失函数最有效地保持身份一致性？
• RQ5 该框架在不同姿态和表情的个体之间是否具有良好的泛化能力？

主要发现

• 所提出的 r-FACE 框架在 CelebA-HQ 数据集上达到最先进性能，Fréchet Inception Distance (FID) 为 8.49，MS-SSIM 为 0.89。
• 消融实验表明，示例引导注意力模块显著提升性能，其在 FID 和 MS-SSIM 上均优于无该模块的基线模型。
• 移除上下文损失后性能最差，表明其在强制参考图像形状一致性方面具有关键作用。
• 风格损失和感知损失对保持肤色和结构细节至关重要，其缺失会导致颜色失真和伪影现象。
• 视觉对比显示，r-FACE 能够成功将参考图像中的复杂形状（如眼睛和鼻子轮廓）迁移到目标图像，同时保持逼真的外观和身份一致性。
• 通过简单更换参考图像，该框架可实现多样化的编辑结果，展示了无需配对数据或人工标注的高可控性与灵活性。