[论文解读] PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer

Wentao Jiang, Si Liu+5 more|arXiv (Cornell University)|Sep 16, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 14

一句话总结

PSGAN 提出了一种新颖的、空间感知的 GAN 框架，用于实现可定制的、对姿态和表情具有鲁棒性的美妆迁移，通过将参考图像的美妆分解为空间感知的系数矩阵（γ）和偏置矩阵（β）。通过使用注意力美妆形变模块实现像素级自适应，以及通过美妆应用网络实现风格注入，PSGAN 在正面和非约束性人脸图像上均实现了最先进性能，实现了高保真度和一致性的局部区域可控及色彩强度可控的美妆迁移。

ABSTRACT

In this paper, we address the makeup transfer task, which aims to transfer the makeup from a reference image to a source image. Existing methods have achieved promising progress in constrained scenarios, but transferring between images with large pose and expression differences is still challenging. Besides, they cannot realize customizable transfer that allows a controllable shade of makeup or specifies the part to transfer, which limits their applications. To address these issues, we propose Pose and expression robust Spatial-aware GAN (PSGAN). It first utilizes Makeup Distill Network to disentangle the makeup of the reference image as two spatial-aware makeup matrices. Then, Attentive Makeup Morphing module is introduced to specify how the makeup of a pixel in the source image is morphed from the reference image. With the makeup matrices and the source image, Makeup Apply Network is used to perform makeup transfer. Our PSGAN not only achieves state-of-the-art results even when large pose and expression differences exist but also is able to perform partial and shade-controllable makeup transfer. We also collected a dataset containing facial images with various poses and expressions for evaluations.

研究动机与目标

• 解决现有美妆迁移方法在处理大姿态和表情变化时的局限性。
• 实现可定制的美妆迁移，支持对特定面部区域（如局部迁移）和美妆强度（色彩控制）的独立控制。
• 开发一种在多样化、非约束性人脸图像上均能保持高质量结果的鲁棒框架。
• 收集并发布一个新的数据集 Makeup-Wild，用于在真实条件下评估美妆迁移性能。

提出的方法

• 美妆蒸馏网络（MDNet）将参考图像的美妆分解为空间感知的系数（γ）和偏置（β）矩阵，以保留局部面部细节。
• 注意力美妆形变（AMM）模块利用人脸分割图和面部关键点，计算像素级对应关系，以将 γ 和 β 自适应地调整至源图像的姿态和表情。
• AMM 模块使用注意力矩阵 A 动态调整美妆矩阵，确保在存在错位时仍能实现精确的空间对齐。
• 美妆应用网络（MANet）通过在特征图上进行逐元素乘法和加法操作，应用 γ′ 和 β′ 实现美妆迁移。
• 通过基于人脸分割结果对 γ′ 和 β′ 应用掩码，实现局部迁移，从而实现区域特定的迁移。
• 通过在 [0,1] 区间内缩放 γ′ 和 β′ 的系数，实现色彩强度可控的迁移，支持从轻妆到浓妆的连续调节。

实验结果

研究问题

• RQ1 当源图像与参考图像在姿态和表情上存在显著差异时，美妆迁移方法能否实现高质量结果？
• RQ2 能否实现局部可控的美妆迁移，使特定面部区域（如嘴唇、眼睛）可独立处理？
• RQ3 能否实现从轻妆到浓妆的可控美妆强度调节？
• RQ4 与基于潜在向量的方法相比，所提出的基于空间感知矩阵的表示方式在提升迁移准确性和真实感方面有何优势？
• RQ5 在具有动态姿态和表情的视频序列中，该框架能否保持一致性和高质量表现？

主要发现

• 在 M-Wild 测试集上，PSGAN 显著优于所有基线方法，用户研究中被选为最佳结果的比例达到 83.5%，远高于 BGAN（13.5%）及其他方法。
• 在 MT 测试集上，PSGAN 的选择比例达到 61.5%，表明其在正面、无表情图像上也具备强大性能。
• 定性结果表明，PSGAN 在生成更真实、更贴近参考图像风格的美妆迁移效果方面优于当前最先进方法，尤其在非正面人脸和复杂表情下表现更优。
• AMM 模块成功缓解了错位问题，防止在困难姿态下出现错误的美妆应用（如将口红涂在皮肤上）。
• 视频迁移结果展示了良好的时间一致性与视觉质量，证实了该方法在动态场景下的鲁棒性。
• 所提出的 Makeup-Wild 数据集有效捕捉了多样的姿态和表情，为美妆迁移模型的真实评估提供了有力支持。