[论文解读] On GANs and GMMs

Eitan Richardson, Yair Weiss|arXiv (Cornell University)|May 31, 2018

Generative Adversarial Networks and Image Synthesis被引用 48

一句话总结

本文比较了生成对抗网络（GANs）与高斯混合模型（GMMs）在学习高维图像统计结构方面的表现。研究提出一种简单的基于箱体的评估方法，避免使用神经网络或难以计算的运算，结果表明GMMs能够生成真实且清晰的图像，同时捕捉完整的数据分布——而GANs由于模式崩溃问题无法做到这一点。

ABSTRACT

A longstanding problem in machine learning is to find unsupervised methods that can learn the statistical structure of high dimensional signals. In recent years, GANs have gained much attention as a possible solution to the problem, and in particular have shown the ability to generate remarkably realistic high resolution sampled images. At the same time, many authors have pointed out that GANs may fail to model the full distribution (mode collapse) and that using the learned models for anything other than generating samples may be very difficult. In this paper, we examine the utility of GANs in learning statistical models of images by comparing them to perhaps the simplest statistical model, the Gaussian Mixture Model. First, we present a simple method to evaluate generative models based on relative proportions of samples that fall into predetermined bins. Unlike previous automatic methods for evaluating models, our method does not rely on an additional neural network nor does it require approximating intractable computations. Second, we compare the performance of GANs to GMMs trained on the same datasets. While GMMs have previously been shown to be successful in modeling small patches of images, we show how to train them on full sized images despite the high dimensionality. Our results show that GMMs can generate realistic samples (although less sharp than those of GANs) but also capture the full distribution, which GANs fail to do. Furthermore, GMMs allow efficient inference and explicit representation of the underlying statistical structure. Finally, we discuss how GMMs can be used to generate sharp images.

研究动机与目标

• 在不依赖额外神经网络或难以计算的近似运算的前提下，评估生成模型。
• 探究尽管结构简单，GMMs是否能有效建模全尺寸的高维图像。
• 在相同数据集上比较GANs与GMMs在分布保真度和样本质量方面的表现。
• 探讨如何利用GMMs生成清晰的图像，以回应其在真实感方面常受批评的问题。

提出的方法

• 提出一种基于箱体的评估方法，通过统计落入预定义箱体的生成样本相对比例来评估性能，避免依赖辅助网络或复杂近似。
• 通过高维参数化和高效推理技术，对全尺寸图像训练GMMs，以应对复杂性挑战。
• 对GANs与GMMs使用相同的数据集，确保在样本质量和分布覆盖范围方面实现公平比较。
• 采用显式统计建模方式表示潜在数据分布，实现高效推理与可解释性。
• 通过优化技术将GMMs应用于生成清晰图像，证明其在简单采样之外的潜力。
• 利用定量的基于箱体的指标和定性样本分析验证结果，以比较分布覆盖范围与真实感。

实验结果

研究问题

• RQ1 一种简单、非神经网络的评估方法是否能准确衡量生成模型性能，而无需对难以计算的运算进行近似？
• RQ2 在全尺寸图像上训练的GMMs是否比易受模式崩溃影响的GANs更好地捕捉完整数据分布？
• RQ3 尽管结构简单，GMMs是否仍能生成逼真且清晰的图像，与GANs相比表现不俗？
• RQ4 GMMs的显式统计表示如何支持高维图像建模中的高效推理与可解释性？
• RQ5 GMMs是否可通过增强手段生成与GANs相当的清晰图像样本？

主要发现

• 所提出的基于箱体的评估方法有效衡量了模型性能，无需额外神经网络或复杂近似。
• 尽管维度高，GMMs仍能成功建模全尺寸图像，证明其在大规模图像分布学习中的可行性。
• GMMs生成的图像逼真且清晰，在视觉质量上与GAN生成的样本具有竞争力。
• 与GANs不同，GMMs能捕捉完整数据分布，避免模式崩溃，从而支持可靠的下游推理。
• GMMs提供了对潜在统计结构的显式、可解释表示，支持高效且合理的推理。
• 本研究证明，通过增强手段，GMMs可生成清晰图像，挑战了唯有深度生成模型（如GANs）才能实现高真实感的假设。