[论文解读] On the Quantitative Analysis of Decoder-Based Generative Models

Yuhuai Wu, Yuri Burda+2 more|arXiv (Cornell University)|Nov 14, 2016

Generative Adversarial Networks and Image Synthesis被引用 34

一句话总结

本文提出使用退火重要性采样（AIS）来准确估计基于解码器的生成模型中的对数似然值，并通过双向蒙特卡罗方法（BDMC）验证其准确性。AIS显示，变自编码器（VAEs）的对数似然值比生成对抗网络（GANs）和高斯混合网络（GMMNs）高出300+nats以上，这一结果与具有误导性的核密度估计（KDE）结果相矛盾；同时，AIS还揭示了GANs中的模式崩溃问题以及VAEs中的过拟合现象。

ABSTRACT

The past several years have seen remarkable progress in generative models which produce convincing samples of images and other modalities. A shared component of many powerful generative models is a decoder network, a parametric deep neural net that defines a generative distribution. Examples include variational autoencoders, generative adversarial networks, and generative moment matching networks. Unfortunately, it can be difficult to quantify the performance of these models because of the intractability of log-likelihood estimation, and inspecting samples can be misleading. We propose to use Annealed Importance Sampling for evaluating log-likelihoods for decoder-based models and validate its accuracy using bidirectional Monte Carlo. The evaluation code is provided at https://github.com/tonywu95/eval_gen. Using this technique, we analyze the performance of decoder-based models, the effectiveness of existing log-likelihood estimators, the degree of overfitting, and the degree to which these models miss important modes of the data distribution.

研究动机与目标

• 为解决基于解码器的生成模型（如VAEs、GANs和GMMNs）中对数似然估计的不可计算性问题。
• 验证对数似然估计器的准确性，尤其是在高维数据设置下的表现。
• 探究模型是否过拟合训练数据或遗漏数据分布的重要模式。
• 基于准确的对数似然估计，而非具有误导性的基于样本或KDE的评估方法，比较VAEs、GANs和GMMNs的真实性能。

提出的方法

• 使用退火重要性采样（AIS）来估计基于解码器模型中的对数似然值，从而在直接计算不可行时实现准确评估。
• 通过双向蒙特卡罗方法（BDMC）验证AIS的准确性，该方法可提供估计误差和后验分歧的可证明边界。
• 利用VAEs中的识别网络加速AIS，将其作为初始提议分布。
• 将核密度估计（KDE）作为对比基线，承认其在高维空间中已知的不可靠性。
• 通过AIS可视化近似后验样本，以评估模式覆盖程度和重建质量。
• 比较各模型在训练和测试集上的对数似然值，以量化过拟合程度。

实验结果

研究问题

• RQ1 现有对数似然估计器（如KDE和重要性加权边界）在基于解码器的模型中有多准确？
• RQ2 GANs和GMMNs是否因记忆训练数据而过拟合，还是其泛化能力优于VAEs？
• RQ3 即使在训练数据中存在某些模式，生成模型是否仍会遗漏数据分布的重要模式？
• RQ4 当使用准确的对数似然估计时，VAEs、GANs和GMMNs在实际性能上如何比较？
• RQ5 AIS与BDMC能否检测到在样本检查或KDE中不可见的过拟合与模式崩溃现象？

主要发现

• AIS在估计VAEs、GANs和GMMNs的对数似然值时，其精度比在高维空间中众所周知不可靠的KDE高出两个数量级。
• VAEs的对数似然值比GANs和GMMNs高出300+nats以上——这一差距KDE无法检测到，表明KDE会导致误导性结论。
• GANs和GMMNs的过拟合程度并不比VAEs更严重；事实上，其训练与测试对数似然值的差距更小，这与它们记忆训练数据的假设相矛盾。
• 通过AIS生成的后验可视化显示，GANs会遗漏细微的数据模式（例如数字'2'的变体），即使这些模式在训练数据中存在。
• 对于VAE-50，IWAE下界在200个周期后开始下降，而AIS估计值保持稳定，表明是识别网络发生过拟合，而非生成网络。
• KDE错误地表明GMMN-50在10,000个周期后性能达到饱和，而AIS显示性能仍在持续提升，凸显了KDE在检测持续学习方面的能力失效。