[论文解读] Non-parametric estimation of Jensen-Shannon Divergence in Generative Adversarial Network training

Mathieu Sinn, Ambrish Rawat|arXiv (Cornell University)|May 25, 2017

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 11

一句话总结

本文提出了一种基于核GAN的Jensen-Shannon散度非参数估计方法，以改进生成模型的训练。通过在自适应带宽调度的极小化-极大化框架下联合优化生成器和核参数，该方法在MNIST、CIFAR-10和CelebA数据集上实现了更高的样本多样性与保真度，其在Inception分数和JSD等关键指标上优于基于MMD的基线模型。

ABSTRACT

Generative Adversarial Networks (GANs) have become a widely popular framework for generative modelling of high-dimensional datasets. However their training is well-known to be difficult. This work presents a rigorous statistical analysis of GANs providing straight-forward explanations for common training pathologies such as vanishing gradients. Furthermore, it proposes a new training objective, Kernel GANs, and demonstrates its practical effectiveness on large-scale real-world data sets. A key element in the analysis is the distinction between training with respect to the (unknown) data distribution, and its empirical counterpart. To overcome issues in GAN training, we pursue the idea of smoothing the Jensen-Shannon Divergence (JSD) by incorporating noise in the input distributions of the discriminator. As we show, this effectively leads to an empirical version of the JSD in which the true and the generator densities are replaced by kernel density estimates, which leads to Kernel GANs.

研究动机与目标

• 通过基于核统计的非参数Jensen-Shannon散度估计，提升生成模型训练效果。
• 通过自适应核带宽调度和正则化，解决GAN中的训练不稳定性和模式崩溃问题。
• 利用自编码器对特征空间进行压缩，将基于核的生成模型扩展至高维数据集（如CIFAR-10和CelebA）。
• 通过多种定量指标评估样本保真度、多样性与分布一致性之间的权衡。
• 证明在基于核的GAN中，JSD项的平衡与带宽调优对泛化能力至关重要。

提出的方法

• 提出一种极小化-极大化优化框架，交替更新生成器参数θ和核参数σ，以最小化核化散度目标。
• 采用基于中位数技巧选择带宽的RBF核混合，并在训练过程中逐步减小，模拟模拟退火过程。
• 使用自编码器将高维图像（如CIFAR-10、CelebA）映射到低维潜在空间，以实现稳定训练。
• 通过自编码器重建损失引入正则化，以稳定训练，遵循li2017mmdgan的设置。
• 在数据空间或特征空间中，基于生成样本与真实样本的核化MMD统计量估计Jensen-Shannon散度。
• 使用10,000个生成样本进行蒙特卡洛估计，计算所有评估指标。

实验结果

研究问题

• RQ1 非参数估计的Jensen-Shannon散度能否提升GAN训练的稳定性和样本质量？
• RQ2 自适应核带宽调度在基于核的GAN中如何影响模式覆盖与泛化能力？
• RQ3 通过自编码器获得的低维特征空间在多大程度上提升了高维数据集上的训练可扩展性？
• RQ4 JSD目标函数中的第一项与第二项如何分别影响生成器在保真度与多样性方面的表现？
• RQ5 与SOTA的MMD基模型（如GMMN和MMD-GAN）相比，核GAN能否实现具有竞争力的Inception分数与MMD值？

主要发现

• 在MNIST上，深度卷积（DC）架构在保真度与多样性之间取得了最佳平衡，其期望熵（EE）为0.289，Inception分数（LS）为7.464，最接近MNIST测试集基线。
• FC-FS模型生成了非常平滑的样本，但多样性降低，表现为JSD-F（0.769）较高而JSD-S（0.603）较低，表明JSD项存在不平衡。
• 在CIFAR-10上，核GAN的Inception分数为4.22 ± 0.02，显著高于GMMN-AE（3.94 ± 0.04）和GMMN（3.47 ± 0.03），但低于MMD-GAN（6.17 ± 0.07）。
• 核带宽在训练过程中起到了有效的“调节旋钮”作用，可纠正过拟合或模式崩溃，极端带宽值下观察到训练不稳定。
• 该方法成功扩展至高维数据集（CIFAR-10和CelebA），尽管未优化超参数，仍能生成与li2017mmdgan相当的定性样本。
• 平衡JSD目标函数的两项（JSD-F与JSD-S）被确定为生成器实现良好泛化能力的关键因素。