[论文解读] Triple Generative Adversarial Networks

Chongxuan Li, Kun Xu+3 more|arXiv (Cornell University)|Dec 20, 2019

Generative Adversarial Networks and Image Synthesis参考文献 79被引用 9

一句话总结

该论文提出Triple-GAN，一种三玩家极小极大博弈框架，结合生成器、分类器和判别器，实现在有限监督下的联合半监督分类与类别条件图像生成。其在多个基准测试中达到最先进性能，在半监督和极端低数据设置下显著优于现有方法，且无需依赖数据增强。

ABSTRACT

We propose a unified game-theoretical framework to perform classification and conditional image generation given limited supervision. It is formulated as a three-player minimax game consisting of a generator, a classifier and a discriminator, and therefore is referred to as Triple Generative Adversarial Network (Triple-GAN). The generator and the classifier characterize the conditional distributions between images and labels to perform conditional generation and classification, respectively. The discriminator solely focuses on identifying fake image-label pairs. Under a nonparametric assumption, we prove the unique equilibrium of the game is that the distributions characterized by the generator and the classifier converge to the data distribution. As a byproduct of the three-player mechanism, Triple-GAN is flexible to incorporate different semi-supervised classifiers and GAN architectures. We evaluate Triple-GAN in two challenging settings, namely, semi-supervised learning and the extreme low data regime. In both settings, Triple-GAN can achieve excellent classification results and generate meaningful samples in a specific class simultaneously. In particular, using a commonly adopted 13-layer CNN classifier, Triple-GAN outperforms extensive semi-supervised learning methods substantially on more than 10 benchmarks no matter data augmentation is applied or not.

研究动机与目标

• 解决两玩家GAN在有限监督下学习判别性表征与解耦条件生成的局限性。
• 在单一、理论基础坚实的框架中统一半监督分类与条件图像生成。
• 通过解耦分类器与判别器角色，克服现有条件GAN中分类与生成性能之间的权衡。
• 实现在无未标记数据的极端低数据设置下的有效学习。
• 提供一种灵活架构，可集成多种半监督分类器与GAN架构。

提出的方法

• 构建一个包含生成器、分类器和判别器的三玩家极小极大博弈，各组件在学习过程中具有不同角色。
• 生成器学习条件数据分布 p(x|y) 以实现图像生成；分类器学习 p(y|x) 以实现分类；判别器区分真实与虚假的图像-标签对。
• 采用非参数假设证明该博弈在唯一均衡点收敛，此时生成器与分类器的分布均收敛至真实数据分布。
• 使用统一的训练目标，联合优化所有三个组件，实现端到端学习并共享特征表示。
• 将标准CNN和GAN架构（如13层CNN、Improved-GAN）作为Triple-GAN框架中的组件进行适配。
• 提出两种变体：Triple-GAN-V1与Triple-GAN-V2，其中V2引入改进的训练技术以获得更优性能。

实验结果

研究问题

• RQ1 统一的三玩家GAN框架能否在有限监督下有效结合半监督分类与条件图像生成？
• RQ2 在三玩家博弈中解耦分类器与判别器是否能带来比两玩家条件GAN更优的均衡收敛与性能表现？
• RQ3 Triple-GAN在无未标记数据的极端低数据设置下表现如何？
• RQ4 Triple-GAN能否在无需数据增强的情况下实现最先进性能，尤其是在低数据设置下？
• RQ5 所提框架中联合生成器与分类器的收敛性是否有理论保障？

主要发现

• 在应用数据增强的情况下，Triple-GAN-V2在SVHN上相比均值教师（MT）基线模型提升1.83%（10.17% vs. 11.08%），在CIFAR10上提升1.23%（17.34% vs. 18.10%）。
• 在极端低数据设置下，Triple-GAN-V2仅用1,000个标注样本在SVHN上实现10.17%的top-1准确率，显著优于MT基线（11.08%）与CNN基线（22.72%）。
• 在CIFAR10上使用4,000个标签且应用数据增强时，Triple-GAN-V2准确率达到17.34%，超过MT基线（18.10%），并优于相同设置下的DADA方法（24.17%）。
• 在半监督学习中，Triple-GAN-V1在CIFAR10上使用4,000个标签时达到32.73%准确率，优于无数据增强的CNN基线（46.10%）。
• 在极端低数据设置下，Triple-GAN-V2在CIFAR10上的FID得分为42.3，虽显著劣于半监督学习中的17.9，但仍能生成语义上合理的样本。
• Triple-GAN-V2在超过10个基准测试中，于半监督与极端低数据设置下均实现最先进性能，展现出强大的鲁棒性与泛化能力。