[论文解读] Variational methods for Conditional Multimodal Learning: Generating Human Faces from Attributes.

Gaurav Pandey, Ambedkar Dukkipati|arXiv (Cornell University)|Mar 6, 2016

Face recognition and analysis被引用 10

一句话总结

本文提出了一种条件多模态自编码器（CMMA），通过变分推断最大化条件对数似然，从文本属性描述生成逼真的真人面部图像。通过将仅属性的潜在空间与联合人脸-属性表征对齐，该模型生成的面部图像在属性准确性与语义一致性方面优于以往的深度生成模型。

ABSTRACT

Prior to this decade, the field of computer vision was primarily focused around hand-crafted feature extraction methods used in conjunction with discriminative models for specific tasks such as object recognition, detection/localization, tracking etc. A generative image understanding was neither within reach nor the prime concern of the period. In this paper, we address the following problem: Given a description of a human face, can we generate the image corresponding to it? We frame this problem as a conditional modality learning problem and use variational methods for maximizing the corresponding conditional log-likelihood. The resultant deep model, which we refer to as conditional multimodal autoencoder (CMMA), forces the latent representation obtained from the attributes alone to be 'close' to the joint representation obtained from both face and attributes. We show that the faces generated from attributes using the proposed model, are qualitatively and quantitatively more representative of the attributes from which they were generated, than those obtained by other deep generative models. We also propose a secondary task, whereby the existing faces are modified by modifying the corresponding attributes. We observe that the modifications in face introduced by the proposed model are representative of the corresponding modifications in attributes. Hence, our proposed method solves the above mentioned problem.

研究动机与目标

• 解决在条件生成框架中从文本属性描述生成逼真人脸的挑战。
• 提升生成人脸与输入属性之间的一致性，确保语义连贯性。
• 通过修改属性并观察对应图像变化，实现可控的人脸编辑。
• 证明变分推断能够有效建模人脸生成中复杂且多模态的条件分布。
• 在定性和定量属性保真度方面超越现有深度生成模型。

提出的方法

• 该模型采用条件变分自编码器（CVAE）框架，从人脸图像及其对应属性中学习联合潜在表征。
• 通过最小化KL散度，强制仅从属性获得的潜在码接近联合人脸-属性潜在码，以施加概率约束。
• 编码器将输入属性与图像映射到共享潜在空间，解码器则从联合潜在表征重建人脸图像。
• 通过最大化给定属性条件下人脸图像的条件对数似然，端到端训练模型。
• 引入辅助任务：通过修改属性生成编辑后的人脸图像，展示解耦且可解释的控制能力。
• 模型采用深度神经网络实现编码器与解码器，并使用随机梯度优化。

实验结果

研究问题

• RQ1 变分推断能否有效建模给定属性描述的人脸图像条件分布？
• RQ2 所提出的CMMA模型是否能生成比现有深度生成模型更忠实于输入属性的人脸？
• RQ3 该模型能否通过属性操作实现有意义且语义一致的人脸编辑？
• RQ4 潜在空间在多大程度上实现了属性与身份、外观因素的解耦？
• RQ5 当强制对齐仅属性与联合潜在表示时，条件生成质量是否得到提升？

主要发现

• 与其它深度生成模型相比，CMMA模型生成的人脸在定性上更准确地反映了输入属性。
• 定量评估证实生成人脸具有更高的属性保真度，尽管提供的文本中未明确具体指标。
• 该模型成功实现了可控的人脸编辑：修改属性可导致生成人脸产生相应且语义上合理的变化。
• 通过变分推断学习到的潜在空间有效捕捉了属性与面部外观之间的条件依赖关系。
• 通过定性对比，CMMA在生成逼真且属性一致的人脸方面优于基线方法。
• 联合潜在表征确保了仅属性生成的结果与真实的人脸-属性分布保持接近。