[论文解读] Semantically Decomposing the Latent Spaces of Generative Adversarial Networks

Chris Donahue, Zachary C. Lipton+2 more|arXiv (Cornell University)|May 22, 2017

Face recognition and analysis被引用 44

一句话总结

本文提出语义分解生成对抗网络（SD-GANs），通过在同一个人的成对图像上进行训练，将生成对抗网络的潜在空间解耦为身份（z_I）和观测（z_O）因子。通过使用孪生判别器强制不同观测间的一致性，SD-GANs 能够生成逼真且身份匹配的图像对，同时实现对身份与姿态、光照、表情等从属因素的独立控制。

ABSTRACT

We propose a new algorithm for training generative adversarial networks that jointly learns latent codes for both identities (e.g. individual humans) and observations (e.g. specific photographs). By fixing the identity portion of the latent codes, we can generate diverse images of the same subject, and by fixing the observation portion, we can traverse the manifold of subjects while maintaining contingent aspects such as lighting and pose. Our algorithm features a pairwise training scheme in which each sample from the generator consists of two images with a common identity code. Corresponding samples from the real dataset consist of two distinct photographs of the same subject. In order to fool the discriminator, the generator must produce pairs that are photorealistic, distinct, and appear to depict the same individual. We augment both the DCGAN and BEGAN approaches with Siamese discriminators to facilitate pairwise training. Experiments with human judges and an off-the-shelf face verification system demonstrate our algorithm's ability to generate convincing, identity-matched photographs.

研究动机与目标

• 解决标准 GAN 在显式解耦数据中已知共性（如人脸或产品图像中的身份）方面的局限性。
• 通过固定潜在码的身份分量，实现同一主体的多样化、逼真图像生成。
• 在无需显式条件控制的情况下，实现对身份与观测因子（如姿态、光照）的独立控制。
• 开发一种成对训练方案，通过评估成对身份一致性的孪生判别器促进解耦。
• 实现零样本生成训练中未见的新身份，这与条件 GAN 不同。

提出的方法

• 将潜在空间分解为两部分：z_I（身份）和 z_O（观测），其中 z_I 在成对图像中共享。
• 训练生成器在一次前向传播中生成两张图像，共享相同的 z_I 但使用不同的 z_O，形成一对图像。
• 采用孪生判别器架构，输入为两张图像，输出为表示其身份是否匹配的概率。
• 训练判别器以区分真实匹配对（相同身份）与虚假或不匹配对（不同身份）。
• 通过将孪生判别器整合到对抗训练目标中，适配 DCGAN 和 BEGAN 框架。
• 优化生成器，使其生成多样且逼真的图像对，以欺骗孪生判别器，使其将其分类为匹配对。

实验结果

研究问题

• RQ1 能否在无显式监督的情况下，训练 GAN 将身份与从属观测因素（如姿态、光照）解耦？
• RQ2 生成器能否在保持身份一致性的同时，生成多样化、逼真的同一身份图像？
• RQ3 采用孪生判别器的成对训练方案是否相比标准 GAN 提升了身份一致性？
• RQ4 SD-GAN 能否生成训练数据中不存在的新身份，而条件 GAN 无法做到？
• RQ5 人类标注员和自动化人脸识别系统在生成图像对中识别身份匹配的能力如何？

主要发现

• SD-GAN 成功生成了多样化、逼真的同一身份图像对，人类判断者正确识别出 85% 的生成图像对为匹配。
• 现成的面部验证系统正确将 92% 的生成图像对分类为同一主体。
• SD-GAN 实现了在身份流形和观测流形上的独立插值，证明了对身份与外观因素的解耦控制。
• SD-BEGAN 变体生成的样本比 SD-DCGAN 更加逼真，尽管两者均实现了高水平的身份一致性。
• 在鞋类数据集上，SD-DCGAN 在 z_I 变化时保持了鞋类类型的稳定性，同时改变姿态和视角，表明实现了有效的解耦。
• SD-GAN 能够生成训练数据中完全不存在的新身份，这是条件 GAN 所不具备的能力。