[论文解读] On Unifying Deep Generative Models

Zhiting Hu, Zichao Yang+2 more|arXiv (Cornell University)|Jun 2, 2017

Cellular Automata and Applications被引用 75

一句话总结

论文提出一个统一框架，通过把 GAN 的样本生成重新理解为后验推断，从而实现跨方法的技术转移。

ABSTRACT

Deep generative models have achieved impressive success in recent years. Generative Adversarial Networks (GANs) and Variational Autoencoders (VAEs), as emerging families for generative model learning, have largely been considered as two distinct paradigms and received extensive independent studies respectively. This paper aims to establish formal connections between GANs and VAEs through a new formulation of them. We interpret sample generation in GANs as performing posterior inference, and show that GANs and VAEs involve minimizing KL divergences of respective posterior and inference distributions with opposite directions, extending the two learning phases of classic wake-sleep algorithm, respectively. The unified view provides a powerful tool to analyze a diverse set of existing model variants, and enables to transfer techniques across research lines in a principled way. For example, we apply the importance weighting method in VAE literatures for improved GAN learning, and enhance VAEs with an adversarial mechanism that leverages generated samples. Experiments show generality and effectiveness of the transferred techniques.

研究动机与目标

• 在一个统一框架下，激发并形式化 GANs 与 VAEs 之间的联系。
• 证明 GANs 与 VAEs 在后验/推断分布上的 KL 散度取值方向相反并被最小化。
• 扩展 wake-sleep 范式以解释并统一学习动力学。
• 通过在 GANs 与 VAEs 之间迁移技术（如 IWGAN、对抗性 VAEs）来展示跨领域的互相启发。
• 提供一个通用工具箱来分析和扩展 GAN/VAE 的变体（InfoGAN、AAE、CycleGAN）。

提出的方法

• 将 GANs 重新表述为在判别性对抗目标下执行后验推断。
• 将 VAEs 描述为具有退化的对抗机制，使伪样本无法参与训练。
• 通过相反的 KL 散度，与 wake-sleep 算法建立正式联系。
• 引入 InfoGAN 风格的扩增，并将 IWGAN 推导为边际似然的更紧界。
• 通过图模型演示各种 GAN/VAE 变体（InfoGAN、AAE、CycleGAN）符合统一的表述。
• 提供关于训练动态和模式覆盖缺失的 KL/JSD 项的分析见解。

实验结果

研究问题

• RQ1 如何在一个统一的概率框架下将 GANs 与 VAEs 统一起来？
• RQ2 在 GAN/VAE 学习中，KL 散度和对抗目标的具体作用是什么？
• RQ3 来自 VAEs 的技术（如重要性加权）能否改进 GANs，反之亦然？
• RQ4 InfoGAN、AAE、CycleGAN 等变体如何适应于统一的表述？
• RQ5 在统一视角下，诸如模式缺失等现象的解释是什么？

主要发现

• GANs 可以被解释为在 ADA 启发的框架中的后验推断。
• VAEs 可以被视为具有退化的对抗机制，使伪样本无法参与训练。
• IWGAN 导致对边际似然的更紧上界，类似于 VAEs 中的 IWAE。
• 对抗性机制可以迁移到 VAEs，以利用生成样本进行学习。
• 统一视角将多种 GAN/VAE 变体整合在一起，从而实现方法的原理层面的跨领域互相借鉴。
• 通过 KL 散度和 JSD 项解释训练动态，阐明模式覆盖与优化行为。