[论文解读] Twin Auxiliary Classifiers GAN

Mingming Gong, Yanwu Xu+3 more|PubMed|Jul 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 10

一句话总结

本文提出了一种新型的条件生成对抗网络架构——孪生辅助分类器生成对抗网络（Twin Auxiliary Classifiers GAN, TAC-GAN），通过引入第二个辅助分类器来更好地估计真实数据与生成数据之间条件分布的差异，从而解决辅助分类器生成对抗网络（AC-GAN）中存在的样本多样性低的问题。通过修正AC-GAN目标函数中缺失的一项，TAC-GAN在CIFAR100、ImageNet1000和VGGFace2数据集上显著提升了样本的多样性与保真度，实现了细粒度人脸生成任务的最先进性能。

ABSTRACT

Conditional generative models enjoy remarkable progress over the past few years. One of the popular conditional models is Auxiliary Classifier GAN (AC-GAN), which generates highly discriminative images by extending the loss function of GAN with an auxiliary classifier. However, the diversity of the generated samples by AC-GAN tends to decrease as the number of classes increases, hence limiting its power on large-scale data. In this paper, we identify the source of the low diversity issue theoretically and propose a practical solution to solve the problem. We show that the auxiliary classifier in AC-GAN imposes perfect separability, which is disadvantageous when the supports of the class distributions have significant overlap. To address the issue, we propose Twin Auxiliary Classifiers Generative Adversarial Net (TAC-GAN) that further benefits from a new player that interacts with other players (the generator and the discriminator) in GAN. Theoretically, we demonstrate that TAC-GAN can effectively minimize the divergence between the generated and real-data distributions. Extensive experimental results show that our TAC-GAN can successfully replicate the true data distributions on simulated data, and significantly improves the diversity of class-conditional image generation on real datasets.

研究动机与目标

• 识别当类别数量增加时，AC-GAN出现样本多样性降低的理论根源。
• 解决由于AC-GAN目标函数中缺少一项而导致的分布匹配不完善的问题。
• 开发一种新的条件生成对抗网络框架，以更有效地最小化真实数据与生成数据分布之间的差异。
• 提升类别条件图像生成的多样性与保真度，尤其是在大规模和细粒度数据集上的表现。
• 证明TAC-GAN能够在以往极具挑战性的基准数据集（如VGGFace2）上生成高质量且多样化的图像。

提出的方法

• 引入孪生辅助分类器作为生成对抗网络极小极大博弈中的新参与者，以估计AC-GAN目标函数中缺失的项。
• 修改生成对抗网络的目标函数，同时包含原始判别器和孪生分类器，以实现对条件分布差异的更好估计。
• 在生成器的残差块中共享类别嵌入，并在多个网络层处输入带有类别嵌入的噪声，以提升特征表示能力。
• 在生成器和判别器中应用谱归一化和自注意力模块，以稳定训练过程并增强特征学习能力。
• 使用修改后的铰链损失训练生成器和判别器，并在每次更新中交替执行一步或两步，以改善收敛性。
• 采用正交权重初始化并基于Big-GAN架构设计，以实现对高分辨率、大规模数据集（如ImageNet1000和VGGFace2）的可扩展性。

实验结果

研究问题

• RQ1 为何随着类别数量的增加，AC-GAN会出现样本多样性下降的现象？
• RQ2 AC-GAN目标函数中缺失的具体项是什么，导致其分布匹配不完善？
• RQ3 引入第二个辅助分类器是否能有效恢复缺失项并改善分布对齐？
• RQ4 所提出的TAC-GAN方法是否能在多种数据集上显著提升类别条件图像生成的多样性与保真度？
• RQ5 TAC-GAN是否能在细粒度数据集（如VGGFace2）上实现最先进性能，而此前的方法均未能成功？

主要发现

• 在CIFAR100上，TAC-GAN的Fréchet Inception Distance（FID）达到7.22，显著低于AC-GAN的82.45，表明其图像质量与多样性更优。
• 在CIFAR100上，TAC-GAN的Inception Score（IS）为9.34，优于AC-GAN的5.37，表明其样本质量与多样性得到显著提升。
• 在ImageNet1000上，TAC-GAN在100个随机选取的类别上取得的FID分数低于Projection cGAN，证实其分布匹配能力更强。
• 在VGGFace200上，TAC-GAN的LPIPS分数高于Projection cGAN，表明其在细粒度人脸数据上具有更高的类内方差与更好的多样性。
• TAC-GAN是首个在VGGFace2数据集上成功生成高质量、多样化图像的条件生成对抗网络方法，证明了其在细粒度识别任务中的有效性。
• 将pacGAN与TAC-GAN结合可进一步提升性能（IS: 9.85，FID: 6.79），但核心的多样性提升主要源于孪生分类器的设计，而非pacGAN本身。