[论文解读] Triangle Generative Adversarial Networks

Zhe Gan, Li‐Qun Chen+6 more|arXiv (Cornell University)|Sep 19, 2017

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 78

一句话总结

Δ-GAN 引入两个生成器和两个判别器，以在两个域之间执行半监督联合分布匹配，实现在有限配对数据下的双向映射。

ABSTRACT

A Triangle Generative Adversarial Network ($Δ$-GAN) is developed for semi-supervised cross-domain joint distribution matching, where the training data consists of samples from each domain, and supervision of domain correspondence is provided by only a few paired samples. $Δ$-GAN consists of four neural networks, two generators and two discriminators. The generators are designed to learn the two-way conditional distributions between the two domains, while the discriminators implicitly define a ternary discriminative function, which is trained to distinguish real data pairs and two kinds of fake data pairs. The generators and discriminators are trained together using adversarial learning. Under mild assumptions, in theory the joint distributions characterized by the two generators concentrate to the data distribution. In experiments, three different kinds of domain pairs are considered, image-label, image-image and image-attribute pairs. Experiments on semi-supervised image classification, image-to-image translation and attribute-based image generation demonstrate the superiority of the proposed approach.

研究动机与目标

• 激发并解决两个相关领域之间的半监督联合分布匹配问题。
• 提出一个四网络GAN（两个生成器、两个判别器）以学习双向条件分布。
• 提供在温和假设下学习到的联合分布收敛到数据分布的理论保证。
• 展示在图像-标签、图像-图像和图像-属性等领域对分类、翻译与编辑等应用的多样性。

提出的方法

• 两个生成器学习域之间的双向条件分布：p_x(x|y) 与 p_y(y|x)。
• 两个判别器共同实现一个三元判别函数，用于区分真实对和两种伪造对。
• 对抗训练共同优化生成器和判别器以对齐 p、p_x、p_y。
• 在最优判别器设置下，相当于三个联合分布之间的 Jensen-Shannon 散度。
• 半监督形式将条件 GAN 目标与 BiGAN/ALI 目标结合，以利用成对数据和非成对数据。
• 模型可以从条件分布采样，而不需要闭式密度。

实验结果

研究问题

• RQ1 Δ-GAN 是否能够在只有少量成对样本的情况下，在两个域之间实现准确的半监督联合分布匹配？
• RQ2 双向生成器是否收敛，使得 p_x 与 p_y 能重现真正的条件分布 p(x|y) 与 p(y|x)？
• RQ3 与相关方法（如 Triple GAN）在图像-标签、图像-图像、图像-属性等各种域对任务中的表现相比，Δ-GAN 的表现如何？
• RQ4 Δ-GAN 是否对半监督分类、图像到图像翻译和基于属性的图像生成等一系列应用有效？

主要发现

• Δ-GAN 能在域对之间匹配联合分布并实现双向映射。
• 该框架在如图像分类、翻译和属性条件生成等任务上展示了半监督能力。
• 与相关方法相比，Δ-GAN 在对齐三个联合分布和避免不对称目标方面显示出优势。
• 在 CIFAR-10、MNIST 风格翻译任务、CelebA 和 COCO 上的实验表现与替代方法相当或优越。