[论文解读] Triple Generative Adversarial Nets

Chongxuan Li, Kun Xu+2 more|arXiv (Cornell University)|Mar 7, 2017

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 230

一句话总结

Triple-GAN 引入三个参与者（生成器、判别器和分类器），在半监督学习中联合建模 p(x,y)，实现最先进的分类性能，同时实现类别条件生成和潜在空间插值。

ABSTRACT

Generative Adversarial Nets (GANs) have shown promise in image generation and semi-supervised learning (SSL). However, existing GANs in SSL have two problems: (1) the generator and the discriminator (i.e. the classifier) may not be optimal at the same time; and (2) the generator cannot control the semantics of the generated samples. The problems essentially arise from the two-player formulation, where a single discriminator shares incompatible roles of identifying fake samples and predicting labels and it only estimates the data without considering the labels. To address the problems, we present triple generative adversarial net (Triple-GAN), which consists of three players---a generator, a discriminator and a classifier. The generator and the classifier characterize the conditional distributions between images and labels, and the discriminator solely focuses on identifying fake image-label pairs. We design compatible utilities to ensure that the distributions characterized by the classifier and the generator both converge to the data distribution. Our results on various datasets demonstrate that Triple-GAN as a unified model can simultaneously (1) achieve the state-of-the-art classification results among deep generative models, and (2) disentangle the classes and styles of the input and transfer smoothly in the data space via interpolation in the latent space class-conditionally.

研究动机与目标

• 解决两个主要的SSL GAN问题：（1）生成器和判别器可能无法同时达到最优；（2）生成器无法控制生成样本的语义。
• 提出一个由生成器、分类器和判别器组成的三人框架，用于建模联合分布 p(x,y)。
• 通过相容的效用确保分类器和生成器的分布收敛到数据分布。

提出的方法

• 三个网络：一个近似 p(y|x) 的分类器 C，一个近似 p(x|y) 的类别条件生成器 G，以及一个区分真实与伪造数据-标签对的判别器 D。
• 带对抗损失的极小极大博弈：U(C,G,D) = E_{(x,y)~p(x,y)}[log D(x,y)] + α E_{(x,y)~p_c(x,y)}[log(1−D(x,y))] + (1−α)E_{(x,y)~p_g(x,y)}[log(1−D(G(y,z),y))], (α ∈ (0,1)).
• 一个监督正则化项 R_L = E_{(x,y)~p(x,y)}[−log p_c(y|x)]，用于驱动唯一的均衡。
• 增加伪判别损失 R_P = E_{p_g}[−log p_c(y|x)]，以利用生成的样本对 C。
• 训练过程包括使用小批量 SGD 和无偏估计来更新 D、C 和 G，以及实际的 SSL 正则化。

实验结果

研究问题

• RQ1 Triple-GAN 能否同时优化分类器和类别条件生成器，使两者都收敛到真实数据分布？
• RQ2 引入带单一判别器的三人博弈是否能防止两人 SSL GANs 中出现的不兼容？
• RQ3 在标注有限的情况下，模型能否学习到解耦的类别和风格因子，并实现有意义的类别条件潜在空间插值？
• RQ4 伪判别损失对半监督分类和样本生成的影响如何？

主要发现

• 在有限标签的情况下，Triple-GAN 在深度生成模型中实现了最先进的半监督分类结果，覆盖 MNIST、SVHN 和 CIFAR-10。
• 模型能够解耦类别和风格，并在潜在空间实现平滑的类别条件插值。
• 所提出博弈的均衡是在 p(x,y) = p_g(x,y) = p_c(x,y) 时，在设计的效用下确保 C 和 G 收敛到数据分布。
• 伪判别损失及其他 SSL 正则化提高了分类准确性和样本质量。
• 实证结果表明 Triple-GAN 在多个数据集上优于若干 SSL GAN 基线（如 Improved-GAN），在 SVHN 和 CIFAR-10 上尤有提升。