[论文解读] Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN)

Shabab Bazrafkan, Hossein Javidnia+1 more|arXiv (Cornell University)|May 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 3

一句话总结

本文提出 VAC+GAN，一种多功能框架，通过在生成器中并行添加分类器，将类别特定损失反向传播通过生成器，从而增强条件 GAN，实现对生成样本类别的精确控制。与先前方法不同，该方法无需修改损失函数，适用于任何 GAN 架构，显著提升了类别特定生成的质量与多样性，已在性别特定人脸生成任务中得到验证，性能指标更优。

ABSTRACT

One of the most interesting challenges in Artificial Intelligence is to train conditional generators which are able to provide labeled adversarial samples drawn from a specific distribution. In this work, a new framework is presented to train a deep conditional generator by placing a classifier in parallel with the discriminator and back propagate the classification error through the generator network. The method is versatile and is applicable to any variations of Generative Adversarial Network (GAN) implementation, and also gives superior results compared to similar methods.

研究动机与目标

• 解决现有条件 GAN 在多种 GAN 架构中生成具有区分度的类别特定样本的局限性。
• 克服 ACGAN 和 CGAN 等方法在合并判别器与分类器损失时出现的不稳定性和收敛问题，尤其当输出维度不一致时。
• 开发一种统一的即插即用解决方案，兼容任何收敛的 GAN 框架，无论判别器或生成器结构如何。
• 从数学上证明所提出的分类器反向传播机制在提升生成样本类别分离度与多样性方面的有效性。
• 在性别特定人脸生成任务上进行实证验证，证明该方法在性能上优于基线条件 GAN。

提出的方法

• 在生成器输出端添加一个并行分类器网络，将分类损失与判别器的损失函数解耦。
• 将分类器的二元交叉熵损失通过生成器反向传播，实现在不修改原始 GAN 训练目标的前提下进行类别特定优化。
• 数学上证明该方法收敛至最优分类器，其最优分类器为 $ C_{G,D}^{*} = \frac{p_{X_1}(\mathbf{x})}{p_{X_1}(\mathbf{x}) + p_{X_2}(\mathbf{x})} $。
• 该框架应用于 BEGAN，其中生成器损失结合了 BEGAN 目标与分类器的 BCE 损失，而判别器损失使用标准 BEGAN 损失。
• 分类器使用 Nesterov 动量进行训练，而生成器与判别器则使用 ADAM 优化器，并设置特定超参数（lr=0.0001, β₁=0.5, β₂=0.999）。
• 潜在空间被划分为两个互不相交的子空间（例如，用于男性/女性人脸），并使用第一个维度作为类别条件。

实验结果

研究问题

• RQ1 是否可以将分类器从判别器损失中解耦，以在不修改原始 GAN 架构的前提下提升训练稳定性和类别特定生成性能？
• RQ2 通过生成器反向传播分类误差，是否能增强生成类别间的 Jensen-Shannon 散度，从而实现更好的类别分离？
• RQ3 所提出的方法是否可普遍应用于任意 GAN 变体，无论判别器输出类型如何（例如，标量输出 vs. 图像输出）？
• RQ4 VAC+GAN 框架在多类别生成任务中，与 CGAN 和 ACGAN 相比，生成多样化、类别特定样本的性能如何？
• RQ5 该方法在多大程度上提升了生成样本的类间差异性与类内多样性？

主要发现

• VAC+GAN 框架成功生成了高保真度且具有鲜明类别特征的性别特定人脸样本，而基线方法 CBEGAN 无法保持类别特异性。
• 所提方法在类内比较中表现出更低的 UQI 和 SSIM 分数（图 5 中蓝条与紫条），表明同一类别内样本的相似性更低。
• 类间相似性（图 5 中黄条）在 VAC+GAN 中显著低于 CBEGAN，证实不同类别样本更具可区分性。
• 所提方法在生成图像中表现出更高的 MSE、RMSE 和 MAE 值（图 6），表明类内与类间样本的差异性更大。
• 数学证明表明，当类别分布平衡时，分类器损失达到最大，从而确保最优的类别判别能力。
• 该方法被证明可普遍适用于任何 GAN 框架，包括判别器输出非标量的情况，原因在于分类器训练的解耦设计。