[论文解读] Semi-parametric Makeup Transfer via Semantic-aware Correspondence

Mingrui Zhu, Yun Yi+3 more|arXiv (Cornell University)|Mar 4, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出了一种半参数化妆容迁移方法 SpMT，结合非参数化语义感知对应（SaC）与参数化解码器，将参考图像中的妆容风格迁移至无妆容的源图像。SaC 模块在源图像与参考图像之间建立语义感知的特征对应关系，实现鲁棒、灵活且高质量的妆容迁移，同时在处理姿态、表情和遮挡变化时保持身份与结构的一致性。

ABSTRACT

The large discrepancy between the source non-makeup image and the reference makeup image is one of the key challenges in makeup transfer. Conventional approaches for makeup transfer either learn disentangled representation or perform pixel-wise correspondence in a parametric way between two images. We argue that non-parametric techniques have a high potential for addressing the pose, expression, and occlusion discrepancies. To this end, this paper proposes a extbf{S}emi- extbf{p}arametric extbf{M}akeup extbf{T}ransfer (SpMT) method, which combines the reciprocal strengths of non-parametric and parametric mechanisms. The non-parametric component is a novel extbf{S}emantic- extbf{a}ware extbf{C}orrespondence (SaC) module that explicitly reconstructs content representation with makeup representation under the strong constraint of component semantics. The reconstructed representation is desired to preserve the spatial and identity information of the source image while "wearing" the makeup of the reference image. The output image is synthesized via a parametric decoder that draws on the reconstructed representation. Extensive experiments demonstrate the superiority of our method in terms of visual quality, robustness, and flexibility. Code and pre-trained model are available at \url{https://github.com/AnonymScholar/SpMT.

研究动机与目标

• 解决完全参数化妆容迁移模型在处理瑕疵和材质应用缺乏真实感方面的局限性。
• 克服真实世界妆容迁移场景中姿态、表情和遮挡差异带来的挑战。
• 利用非参数化方法的优势（如直接复用参考图像中的材质）同时保留参数化解码的效率。
• 通过混合参数化-非参数化框架实现可控且鲁棒的妆容迁移。
• 通过在对应学习过程中显式建模组件级语义，提升视觉质量和身份保留效果。

提出的方法

• 提出一种新颖的语义感知对应（SaC）模块，实现在特征金字塔多个层级上的跨图像特征对应。
• 利用 SaC 模块非参数化地从参考图像中提取妆容材质（如口红颜色、粉底），并基于语义组件对齐将其迁移至源图像。
• 在 SaC 模块内采用基于余弦相似度的匹配策略，确保对应关系由语义意义引导，而不仅依赖空间邻近性。
• 引入一种化妆感知损失，以在训练过程中强制源图像与重建表示之间的语义一致性。
• 将重建后的、带有妆容增强的内容表征输入参数化解码器，生成最终的妆后图像。
• 使用对抗性损失、循环一致性损失以及所提出的化妆感知损失进行模型训练，以确保图像的真实感与保真度。

实验结果

研究问题

• RQ1 与完全参数化模型相比，非参数化机制是否能提升妆容迁移对姿态、表情和遮挡变化的鲁棒性？
• RQ2 语义感知对应相比像素级或非语义对应，如何提升妆容材质迁移的真实感与准确性？
• RQ3 该混合半参数化设计在无需微调的情况下，能在多大程度上实现可控妆容迁移（如插值、局部特定区域迁移）？
• RQ4 与最先进参数化方法相比，该方法是否能更好地保留源图像的身份与结构细节？
• RQ5 该方法是否能在具有环境变化的真实世界、非约束图像上实现更优的视觉质量与泛化能力？

主要发现

• SpMT 在三种妆容风格下均取得最低的 Fréchet Inception Distance（FID）分数——西方风格（141.3）、vFG（156.4）和 vHX（119.2），表明其生成结果与参考妆容图像的分布相似性更优。
• 该方法取得 0.89 的 SSIM 分数，显著高于 BeautyGAN（0.87）、PSGAN（0.80）和 SCGAN（0.81），证明其在内容与身份保留方面表现更优。
• 在用户研究中，SpMT 在对齐良好及存在姿态、表情和遮挡变化的挑战性图像上，均获得超过 40% 的最高投票率。
• 该方法成功避免了如 BeautyGAN 和 PSGAN 等先前方法中常见的口红出现在嘴内部等伪影问题。
• SpMT 通过插值和对重建表征的局部选择，实现了灵活可控的妆容迁移，如定性结果所示。
• 尽管在单张 NVIDIA 3090 GPU 上每张图像的计算成本约为 1 秒，该方法仍保持了高视觉质量与鲁棒性，且代码与预训练模型已公开提供。