[论文解读] Pipeline Generative Adversarial Networks for Facial Images Generation with Multiple Attributes

Ziqiang Zheng, Zhibin Yu+3 more|arXiv (Cornell University)|Nov 29, 2017

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 3

一句话总结

本文提出了一种两阶段生成对抗网络——Pip-GAN，通过依次应用姿态生成器后接表情生成器，实现高保真度面部图像的生成，同时控制多个属性（特别是头部姿态和面部表情）。该方法通过级联损失、梯度惩罚和并行分类器提升图像质量，在KDEF数据集上优于单阶段GAN及其它管道结构，生成的图像具有更清晰的面部细节和更高的保真度。

ABSTRACT

Generative Adversarial Networks are proved to be efficient on various kinds of image generation tasks. However, it is still a challenge if we want to generate images precisely. Many researchers focus on how to generate images with one attribute. But image generation under multiple attributes is still a tough work. In this paper, we try to generate a variety of face images under multiple constraints using a pipeline process. The Pip-GAN (Pipeline Generative Adversarial Network) we present employs a pipeline network structure which can generate a complex facial image step by step using a neutral face image. We applied our method on two face image databases and demonstrate its ability to generate convincing novel images of unseen identities under multiple conditions previously.

研究动机与目标

• 为解决标准GAN难以同时生成具有多种属性（如姿态和表情）的面部图像的挑战。
• 通过将复杂任务分解为两个可管理的阶段（先姿态后表情），提升图像生成质量。
• 通过在编码层引入条件向量和并行分类判别器，增强特征学习与生成器控制能力。
• 评估管道结构（PE vs. EP）以及消融组件（梯度惩罚、级联损失）在图像保真度与细节表现上的有效性。
• 为需要多样化属性组合的面部图像分析任务提供稳健的数据增强解决方案。

提出的方法

• 该模型采用两阶段管道结构：首先，姿态生成器（Gp）将中性面部图像转换为不同姿态；其次，表情生成器（Ge）在姿态图像上施加目标面部表情。
• 每个生成器均配备专用判别器（Dp用于姿态，De用于表情），形成按顺序排列的两个独立GAN分支。
• 在每个生成器的潜在码层注入条件向量，以控制特定属性（姿态或表情），实现精确的生成引导。
• 在编码器-解码器网络的瓶颈层添加并行分类判别器，以增强特征提取能力并解耦相关属性。
• 框架整合了级联损失与梯度惩罚以稳定训练过程并提升图像质量，完整损失函数结合了对抗损失、重建损失与正则化项。
• 评估了两种管道顺序：PE（姿态优先）与EP（表情优先），并通过消融实验比较不同结构与组件的性能表现。

实验结果

研究问题

• RQ1 两阶段GAN管道是否能有效生成具有多种属性（如姿态与表情）的面部图像，且优于单阶段GAN？
• RQ2 属性应用顺序（姿态优先 vs. 表情优先）是否显著影响图像质量与细节保真度？
• RQ3 梯度惩罚与级联损失等附加组件如何提升管道GAN的性能？
• RQ4 该模型在多样化属性组合下，能否有效生成未见身份的逼真、高质量面部图像？
• RQ5 该模型能否作为面部图像数据集在属性多样性有限情况下的有效数据增强工具？

主要发现

• PE（姿态优先）管道结构优于EP（表情优先）结构，生成的图像更清晰，面部细节（如眼睛、牙齿、嘴巴）更准确。
• 完整组件的Pip-GAN（PE + 梯度惩罚 + 级联损失 + 并行分类器）在所有指标上均表现最佳，超越单阶段GAN与基线管道模型。
• 尽管Pix2pix在PSNR上表现具有竞争力，但在MSE与R-MSE上表现较差，表明其输出模糊且失真，尤其在面部表情生成方面。
• 与单阶段GAN相比，该管道方法显著提升了图像质量，PE结构即使在极端姿态与表情下也能生成合理的面部特征。
• 梯度惩罚与级联损失的整合显著提升了图像保真度，并减少了模式崩溃现象。
• 该模型成功为每个输入生成了24张不同面部图像（涵盖5种姿态与7种表情），在KDEF数据集上展现出有效的数据增强潜力。