[论文解读] Unbiased Auxiliary Classifier GANs with MINE

Ligong Han, Anastasis Stathopoulos+2 more|arXiv (Cornell University)|Jun 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 13被引用 11

一句话总结

本文提出无偏辅助分类器生成对抗网络（UAC-GAN），利用互信息神经估计器（MINE）直接估计标准AC-GAN中缺失的条件熵项，从而消除对孪生辅助分类器的需求并稳定训练过程。UAC-GAN在MNIST、CIFAR10和合成MoG数据上均实现了优于AC-GAN和TAC-GAN的图像生成质量与更好的类别条件分布匹配效果。

ABSTRACT

Auxiliary Classifier GANs (AC-GANs) are widely used conditional generative models and are capable of generating high-quality images. Previous work has pointed out that AC-GAN learns a biased distribution. To remedy this, Twin Auxiliary Classifier GAN (TAC-GAN) introduces a twin classifier to the min-max game. However, it has been reported that using a twin auxiliary classifier may cause instability in training. To this end, we propose an Unbiased Auxiliary GANs (UAC-GAN) that utilizes the Mutual Information Neural Estimator (MINE) to estimate the mutual information between the generated data distribution and labels. To further improve the performance, we also propose a novel projection-based statistics network architecture for MINE. Experimental results on three datasets, including Mixture of Gaussian (MoG), MNIST and CIFAR10 datasets, show that our UAC-GAN performs better than AC-GAN and TAC-GAN. Code can be found on the project website.

研究动机与目标

• 为解决已知的辅助分类器生成对抗网络（AC-GAN）中的偏差问题，该问题导致类内多样性较低，源于目标函数中缺失负条件熵项。
• 克服与孪生辅助分类器生成对抗网络（TAC-GAN）相关的训练不稳定性，后者通过引入第二个辅助分类器来估计缺失的熵项。
• 开发一种稳定且理论基础坚实的TAC-GAN替代方案，通过MINE直接估计生成样本与其标签之间的互信息。
• 通过引入缺失的熵项，提升条件图像生成质量与分布匹配效果，同时不引入额外判别器或复杂架构。

提出的方法

• 该方法使用互信息神经估计器（MINE）估计生成数据与其标签之间的互信息，从而有效估计缺失的负条件熵项。
• 提出一种基于投影的统计网络架构用于MINE，实现高效且稳定的互信息估计，计算开销极低。
• 生成器被训练以最小化MINE估计的互信息，从而鼓励生成高熵、多样化的条件标签样本。
• 所提出的UAC-GAN框架将MINE集成到标准AC-GAN目标函数中，用可微分的互信息估计器替代TAC-GAN中使用的孪生分类器。
• 该架构保留原始AC-GAN的生成器与判别器，仅增加一个基于MINE的条件熵项估计器。

实验结果

研究问题

• RQ1 通过MINE估计互信息是否能有效替代TAC-GAN中的孪生辅助分类器，从而稳定训练并减少AC-GAN中的偏差？
• RQ2 对缺失的负条件熵项进行直接估计是否能提升条件GAN中生成样本的多样性？
• RQ3 在合成数据与真实世界数据集上，UAC-GAN与AC-GAN、TAC-GAN在分布匹配与图像生成质量方面相比如何？
• RQ4 基于投影的MINE架构能否以极低计算成本高效集成到GAN中？

主要发现

• 在1-D混合高斯（MoG）数据集上，UAC-GAN在3个类别中的2个类别（Class_1与Class_2）达到最低的MMD距离，分别为0.148 ± 0.274与0.760 ± 1.474，优于AC-GAN与TAC-GAN。
• 在MNIST上，UAC-GAN的Inception Score为2.68，FID为3.68，优于AC-GAN（IS: 2.52，FID: 4.17）与TAC-GAN（IS: 2.60，FID: 3.70）。
• 在CIFAR10上，UAC-GAN的Inception Score为4.92，FID为43.04，优于AC-GAN（IS: 4.71，FID: 47.75）与TAC-GAN（IS: 4.17，FID: 54.91）。
• UAC-GAN生成的视觉样本在类别条件多样性方面显著优于AC-GAN与TAC-GAN，尤其在同类别下生成多样化实例方面表现突出。
• 所提出的基于投影的MINE架构计算开销可忽略不计，使UAC-GAN在实际应用中高效且实用。