[论文解读] Variational Approaches for Auto-Encoding Generative Adversarial Networks

Mihaela Rosca, Balaji Lakshminarayanan+2 more|arXiv (Cornell University)|Jun 15, 2017

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 247

一句话总结

本文提出了一种通过使用合成似然与隐式后验分布的判别器学习来实现变分自编码器与GANs的原理性混合（alpha-GAN），旨在将VAE的稳定性与GANs的清晰度相结合，并在对 DC-GAN、WGAN-GP 和 AGE 的比较中进行评估。

ABSTRACT

Auto-encoding generative adversarial networks (GANs) combine the standard GAN algorithm, which discriminates between real and model-generated data, with a reconstruction loss given by an auto-encoder. Such models aim to prevent mode collapse in the learned generative model by ensuring that it is grounded in all the available training data. In this paper, we develop a principle upon which auto-encoders can be combined with generative adversarial networks by exploiting the hierarchical structure of the generative model. The underlying principle shows that variational inference can be used a basic tool for learning, but with the in- tractable likelihood replaced by a synthetic likelihood, and the unknown posterior distribution replaced by an implicit distribution; both synthetic likelihoods and implicit posterior distributions can be learned using discriminators. This allows us to develop a natural fusion of variational auto-encoders and generative adversarial networks, combining the best of both these methods. We describe a unified objective for optimization, discuss the constraints needed to guide learning, connect to the wide range of existing work, and use a battery of tests to systematically and quantitatively assess the performance of our method.

研究动机与目标

• 以GANs的层次潜在结构为基础，动机与正式化自编码器与GANs的原理融合。
• 开发一个变分框架，在其中不可解析的似然性被合成似然性所取代，后验分布通过隐式判别器来建模。
• 提出一个统一的 alpha-GAN 目标，结合重构、合成似然性和潜在编码判别。
• 提供实用的训练策略，以在实现重构的同时稳定学习并防止模式崩溃。

提出的方法

• 利用密度比技巧和判别器来执行带隐式后验的变分推断。
• 用通过判别器密度比学习的合成似然性来替代不可解析的似然性。
• 引入一个显式的重构项，使用L1损失，并通过一个合成似然判别器进行对抗性重构。
• 加入潜在空间判别器，以使编码器输出与先验分布对齐。
• 提出一个混合目标，结合重构、合成似然性和潜在码匹配（alpha-GAN）。
• 提供训练增强策略：对非饱和梯度使用反向KL更新，并为假数据与重构共享单一判别器。

实验结果

研究问题

• RQ1 变分推断是否可以通过使用隐式后验和合成似然性与GANs有效整合？
• RQ2 在没有预训练的情况下，将自编码器的重构损失与对抗训练相结合是否能改善模式覆盖和样本质量？
• RQ3 在重建与生成任务的标准数据集上，alpha-GAN 相对于 DC-GAN、WGAN-GP 和 AGE 的表现如何？
• RQ4 哪些实际训练策略能够稳定 alpha-GAN 的优化并支持真实的重构？

主要发现

• Alpha-GAN 在若干数据集上与最先进的GAN变体和AGE相比具有竞争力的结果。
• 该模型能够对输入进行重构，解决了原生GAN的一个关键局限。
• Alpha-GAN 的评估使用包括独立 Wasserstein 判别器和 inception 分数在内的一系列指标来评估样本质量与模式覆盖。
• 重构项有助于缓解模式崩溃，而对抗性组件则提升样本的真实感。
• 架构选择和生成器、编码器与判别器之间的更新比对显著影响性能与稳定性。
• 比较强调在不同评估网络（ImageNet 网与 CIFAR-10 网）下，图像质量指标之间存在非平凡差异。