[论文解读] PSGAN: Pose-Robust Spatial-Aware GAN for Customizable Makeup Transfer.

Wentao Jiang, Si Liu+5 more|arXiv (Cornell University)|Sep 16, 2019

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 4

一句话总结

PSGAN 提出了一种姿态和表情鲁棒、空间感知的生成对抗网络，用于可定制的妆容迁移，通过将参考妆容解耦为空间感知矩阵，并利用注意力形态模块实现即使在大姿态和表情变化下仍可控且高保真的迁移。该方法在部分区域和色彩可控编辑方面达到最先进性能。

ABSTRACT

In this paper, we address the makeup transfer task, which aims to transfer the makeup from a reference image to a source image. Existing methods have achieved promising progress in constrained scenarios, but transferring between images with large pose and expression differences is still challenging. Besides, they cannot realize customizable transfer that allows a controllable shade of makeup or specifies the part to transfer, which limits their applications. To address these issues, we propose Pose and expression robust Spatial-aware GAN (PSGAN). It first utilizes Makeup Distill Network to disentangle the makeup of the reference image as two spatial-aware makeup matrices. Then, Attentive Makeup Morphing module is introduced to specify how the makeup of a pixel in the source image is morphed from the reference image. With the makeup matrices and the source image, Makeup Apply Network is used to perform makeup transfer. Our PSGAN not only achieves state-of-the-art results even when large pose and expression differences exist but also is able to perform partial and shade-controllable makeup transfer. We also collected a dataset containing facial images with various poses and expressions for evaluations.

研究动机与目标

• 解决当前方法在大姿态和表情差异下难以实现妆容迁移的挑战。
• 通过允许控制色彩和特定面部区域，实现可定制的妆容迁移。
• 克服现有方法在复杂面部构型下缺乏解耦与可控性的局限。
• 构建一个包含多样化姿态和表情的新数据集，以更好地评估真实场景下的鲁棒性。

提出的方法

• 提出妆容蒸馏网络（Makeup Distill Network），将参考图像的妆容解耦为两个空间感知的妆容矩阵，以捕捉颜色和结构信息。
• 提出注意力妆容形态模块（Attentive Makeup Morphing module），计算像素级形态权重，实现从参考图像到源图像的精确、局部化迁移。
• 设计妆容应用网络（Makeup Apply Network），将源图像与空间感知妆容矩阵及形态权重融合，实现端到端的妆容迁移。
• 利用空间感知表征，在大姿态和表情差异下保持结构一致性和色彩保真度。
• 通过对抗损失、感知损失和重建损失端到端训练模型，以确保真实感和细节保留。
• 利用新收集的数据集在多样化姿态和表情下进行训练与评估，以模拟真实、具有挑战性的条件。

实验结果

研究问题

• RQ1 基于 GAN 的框架能否在大姿态和表情差异下实现鲁棒的妆容迁移？
• RQ2 该模型在妆容迁移中对色彩和目标面部区域的细粒度控制能力有多强？
• RQ3 妆容组件的空间感知解耦在保持面部结构和色彩准确性方面有多有效？
• RQ4 在具有挑战性的条件下，该方法是否在定量指标和视觉质量上均优于现有最先进方法？
• RQ5 一个包含多样化姿态和表情的专用数据集能否提升妆容迁移模型的泛化能力与鲁棒性？

主要发现

• PSGAN 在妆容迁移任务中达到最先进性能，即使在极端姿态和表情变化下，也通过定量指标和视觉对比得到验证。
• 该模型支持部分区域和色彩可控的妆容迁移，用户可指定要应用的面部区域及妆容强度等级。
• 空间感知妆容矩阵能有效保持面部结构和色彩一致性，减少复杂情况下的伪影。
• 注意力妆容形态模块通过学习像素级迁移权重，显著提升定位精度与视觉真实感。
• 新收集的数据集提供了更真实的评估基准，展示了模型在真实场景下的鲁棒性。
• 消融实验验证了各组件的有效性，尤其是空间感知解耦与形态模块在提升迁移质量方面的关键作用。