[论文解读] Triple consistency loss for pairing distributions in GAN-based face synthesis

Enrique Sánchez, Michel Valstar|arXiv (Cornell University)|Nov 8, 2018

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 14

一句话总结

本文提出了一种三重一致性损失，以解决基于 GAN 的人脸合成中的分布不匹配问题，确保无论网络经过多少次前向传播，输出均保持一致。通过强制直接路径与多步生成路径之间的等价性，该方法实现了可靠的渐进式图像翻译，其在一种新颖的地标引导型人脸合成模型（GANnotation）中得到验证，该模型在多种姿态和表情下实现了高保真度、身份保持的结果。

ABSTRACT

Generative Adversarial Networks have shown impressive results for the task of object translation, including face-to-face translation. A key component behind the success of recent approaches is the self-consistency loss, which encourages a network to recover the original input image when the output generated for a desired attribute is itself passed through the same network, but with the target attribute inverted. While the self-consistency loss yields photo-realistic results, it can be shown that the input and target domains, supposed to be close, differ substantially. This is empirically found by observing that a network recovers the input image even if attributes other than the inversion of the original goal are set as target. This stops one combining networks for different tasks, or using a network to do progressive forward passes. In this paper, we show empirical evidence of this effect, and propose a new loss to bridge the gap between the distributions of the input and target domains. This "triple consistency loss", aims to minimise the distance between the outputs generated by the network for different routes to the target, independent of any intermediate steps. To show this is effective, we incorporate the triple consistency loss into the training of a new landmark-guided face to face synthesis, where, contrary to previous works, the generated images can simultaneously undergo a large transformation in both expression and pose. To the best of our knowledge, we are the first to tackle the problem of mismatching distributions in self-domain synthesis, and to propose "in-the-wild" landmark-guided synthesis. Code will be available at https://github.com/ESanchezLozano/GANnotation

研究动机与目标

• 解决自一致性损失在基于 GAN 的人脸合成中，于多次网络前向传播时无法维持分布一致性的缺陷。
• 通过确保输出稳定性（无论路径长度如何），实现渐进式图像翻译——即按顺序应用多个属性变换。
• 开发一种新颖的地标引导型人脸合成框架（GANnotation），支持在极少监督下实现无约束姿态与表情变化。
• 弥合身份保持型人脸翻译中输入域与目标域之间的分布差距，提升生成图像的泛化能力与可重用性。
• 证明当前基于自一致性损失的模型在重新使用生成图像进行进一步变换时会失效，即使结果看起来高度逼真。

提出的方法

• 提出一种三重一致性损失，强制对同一目标，无论其路径是直接到达还是经过中间步骤，输出保持一致。
• 将损失形式化为最小化通过两种不同路径生成的输出之间的距离：一条是直接到目标，另一条是通过中间属性的两步路径。
• 将三重一致性损失与自一致性损失结合，以在稳定分布偏移的同时保持身份特征。
• 设计 GANnotation，一种基于地标引导的 GAN，将目标面部关键点配置的热力图作为合成的条件输入。
• 训练生成器将输入图像映射到目标关键点，同时保持身份特征与照片级真实感，使用三重一致性损失与自一致性损失。
• 利用形状模型在推理阶段操控平面内旋转与视角角度，以生成多样化的姿态与表情。

实验结果

研究问题

• RQ1 为何当前基于 GAN 的人脸合成模型在重新使用其自身生成的图像进行渐进式属性翻译时会失败，即使输出结果看起来高度逼真？
• RQ2 当应用多次网络前向传播时，自一致性损失在多大程度上无法维持输入域与目标域之间的分布一致性？
• RQ3 三重一致性损失是否能有效稳定不同变换路径下生成图像的分布，从而实现可靠的渐进式合成？
• RQ4 地标引导型 GAN（GANnotation）在大姿态与表情变化下，其身份保持能力与生成逼真人脸的能力如何？
• RQ5 当目标地标与真实面部结构显著偏离时，地标引导型合成的失败模式是什么？

主要发现

• 实证结果表明，像 StarGAN 这类基于自一致性损失的模型在重新使用其自身输出时，即使输入仅发生微小变化，也无法正确生成目标属性。
• 三重一致性损失成功实现了渐进式图像翻译：使用本文提出的损失训练后，先生成“黑发”再转为“金发”可得到正确结果，而标准自一致性损失则无法实现。
• GANnotation 即使在低分辨率输入或严格裁剪条件下，也能生成照片级真实感的人脸图像，在定性与定量比较中均优于 CR-GAN。
• 当目标地标真实且与输入面部结构对齐良好时，模型在多种姿态与表情下仍能保持身份一致性。
• 当目标地标极端或与输入面部几何结构不匹配时，网络会优先关注地标定位，导致生成结果不够真实或出现性别不一致问题。
• 移除自一致性损失会导致身份保持能力下降，表明两种损失均不可或缺：三重一致性损失用于分布稳定性，自一致性损失用于身份保留。