[论文解读] Probabilistic Generative Adversarial Networks

Hamid Eghbal-zadeh, Gerhard Widmer|arXiv (Cornell University)|Aug 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 4被引用 5

一句话总结

本文提出概率生成对抗网络（PGAN），一种将高斯混合模型（GMM）集成到判别器中的 GAN 变体，实现基于似然的训练。通过使用 GMM 似然而非分类损失来优化生成器和判别器，PGAN 实现了更稳定的训练过程，获得与图像质量高度相关的有意义的似然分数，并降低了模式崩溃和梯度饱和的风险。

ABSTRACT

We introduce the Probabilistic Generative Adversarial Network (PGAN), a new GAN variant based on a new kind of objective function. The central idea is to integrate a probabilistic model (a Gaussian Mixture Model, in our case) into the GAN framework which supports a new kind of loss function (based on likelihood rather than classification loss), and at the same time gives a meaningful measure of the quality of the outputs generated by the network. Experiments with MNIST show that the model learns to generate realistic images, and at the same time computes likelihoods that are correlated with the quality of the generated images. We show that PGAN is better able to cope with instability problems that are usually observed in the GAN training procedure. We investigate this from three aspects: the probability landscape of the discriminator, gradients of the generator, and the perfect discriminator problem.

研究动机与目标

• 解决当前 GAN 输出质量评估缺乏可靠、定量指标的问题，目前该评估依赖于主观的视觉检查。
• 克服 GAN 训练中的不稳定性，特别是模式崩溃、梯度消失和完美判别器问题。
• 提出一种基于高斯似然的概率损失函数，该函数与生成图像质量相关，支持稳定优化。
• 通过将判别器的目标从假样本分类解耦，转而专注于通过 GMM 建模真实数据分布，提升训练鲁棒性。
• 提供一种梯度控制机制，在生成器停滞时减小梯度，防止梯度饱和，并在训练中实现恢复。

提出的方法

• 将高斯混合模型（GMM）作为判别器的组成部分，用于建模瓶颈嵌入空间中真实数据的分布。
• 使用 GMM 的似然分数作为生成器和判别器的主要损失函数，替代传统的二元交叉熵或最小二乘分类损失。
• 训练生成器以最大化在真实数据嵌入上拟合的 GMM 下，假样本嵌入的似然，从而鼓励生成特征空间分布的逼真性。
• 实现一种梯度开启/关闭机制：当生成器不再改进时，判别器产生小而方差低的梯度，防止生成器饱和。
• 应用 Arjovsky 和 Bottou（2017）的工具分析梯度统计特性，识别训练过程中的不稳定性来源。
• 通过梯度范数、似然分数以及瓶颈层中真实与假样本嵌入的直方图分析，将 PGAN 与 LSGAN 和 WGAN 进行比较。

实验结果

研究问题

• RQ1 与基于分类的标准目标相比，基于 GMM 的似然损失函数是否能提升 GAN 训练的稳定性？
• RQ2 GMM 似然是否与感知图像质量相关，从而为 GAN 评估提供可靠且定量的指标？
• RQ3 PGAN 如何应对完美判别器问题，即由于近似完美判别导致梯度消失的情况？
• RQ4 当生成器在训练过程中暂时受阻时，生成器和判别器的梯度行为如何？
• RQ5 PGAN 是否能从生成器主导或训练模式不稳定的阶段中恢复，其表现与基线 GAN 相比如何？

主要发现

• PGAN 的似然分数与生成图像质量高度相关，为 GAN 性能提供了一种可靠且定量的评估指标。
• 训练过程中，当生成器受阻、判别器接管时，生成器的梯度变得微小且方差低，表明存在稳定的开启/关闭机制。
• 在恢复生成器更新后，梯度范数恢复到正常量级，表明模型具备从停滞状态中恢复的能力。
• 由于高斯似然的连续性和重叠特性，基于 GMM 的判别器更不容易成为完美判别器，从而降低了梯度消失的风险。
• 瓶颈激活的直方图显示，PGAN 的假样本嵌入分布在真实数据分布的尾部，使得完美分离几乎不可能，而 LSGAN 中的尖锐峰值则允许近乎完美的判别。
• PGAN 在防止模式丢失方面表现出更强的鲁棒性，因为 GMM 的密度估计鼓励潜在空间中对多样化数据模式的覆盖。