[论文解读] The continuous Bernoulli: fixing a pervasive error in variational autoencoders

Gabriel Loaiza-Ganem, John P. Cunningham|arXiv (Cornell University)|Jul 16, 2019

Generative Adversarial Networks and Image Synthesis被引用 22

一句话总结

本文引入了连续伯努利分布，这是一种适用于变分自编码器（VAEs）的新[0,1]-支持的似然函数，以纠正将[0,1]-取值的像素数据建模为离散伯努利似然这一普遍存在的错误。通过用连续伯努利分布替代标准伯努利分布，该方法在多个数据集上显著提升了生成样本质量和重建性能，表明这一看似微小的修正可为VAE训练带来显著的定量与定性改进。

ABSTRACT

Variational autoencoders (VAE) have quickly become a central tool in machine learning, applicable to a broad range of data types and latent variable models. By far the most common first step, taken by seminal papers and by core software libraries alike, is to model MNIST data using a deep network parameterizing a Bernoulli likelihood. This practice contains what appears to be and what is often set aside as a minor inconvenience: the pixel data is [0,1] valued, not {0,1} as supported by the Bernoulli likelihood. Here we show that, far from being a triviality or nuisance that is convenient to ignore, this error has profound importance to VAE, both qualitative and quantitative. We introduce and fully characterize a new [0,1]-supported, single parameter distribution: the continuous Bernoulli, which patches this pervasive bug in VAE. This distribution is not nitpicking; it produces meaningful performance improvements across a range of metrics and datasets, including sharper image samples, and suggests a broader class of performant VAE.

研究动机与目标

• 为解决在VAEs中使用离散伯努利似然对连续[0,1]-取值的像素数据进行建模这一广泛但存在严重问题的做法。
• 指出数据支持与似然支持之间的不匹配会导致VAEs性能显著下降。
• 提出一种新的、连续的、单参数分布——称为连续伯努利分布——其定义域恰为区间[0,1]。
• 证明将标准伯努利似然替换为连续伯努利似然可带来可测量的VAE性能提升。
• 确立连续伯努利分布作为更精确、更高效VAE架构的基础组件。

提出的方法

• 提出连续伯努利分布作为[0,1]-取值数据的合适似然函数，由单个参数ξ ∈ (0,1)定义。
• 推导出连续伯努利的概率密度函数（PDF），其形式为p^ξ(1−p)^(1−ξ)，其中p ∈ [0,1]，并包含依赖于ξ的归一化常数。
• 提出一种重参数化技巧，使连续伯努利分布可在VAEs中实现可微采样与梯度估计。
• 在编码器与生成器模型中，均用连续伯努利似然替代标准伯努利似然。
• 在MNIST、CIFAR-10和CelebA等基准数据集的标准VAE架构上应用连续伯努利分布，并采用标准训练协议。
• 通过消融研究与基于离散伯努利似然的标准VAE进行对比，验证方法的有效性。

实验结果

研究问题

• RQ1 使用离散伯努利似然对[0,1]-取值的像素数据进行建模，在实践中如何影响VAE的性能？
• RQ2 与离散伯努利相比，定义在[0,1]上的连续似然是否能提升VAE的生成样本质量与重建精度？
• RQ3 一种适用于[0,1]区间的正确分布，其数学形式与归一化常数是什么？
• RQ4 是否存在一种可微的重参数化方案，以支持在VAEs中端到端训练所提出的连续伯努利分布？
• RQ5 连续伯努利分布是否在多种数据集与网络架构上均带来一致的性能提升？

主要发现

• 连续伯努利分布是一种在[0,1]上定义良好的概率分布，仅含一个参数，可自然地作为连续像素强度的似然函数。
• 在VAEs中用连续伯努利分布替代离散伯努利似然后，生成的图像样本更加清晰，尤其在高分辨率生成任务中表现尤为明显。
• 在MNIST、CIFAR-10和CelebA等测试集上，该方法的对数似然得分始终优于标准VAE。
• 连续伯努利分布可实现更精确的后验近似，从而减少数据分布与似然分布之间的不匹配。
• 连续伯努利分布的重参数化技巧可实现稳定且高效的VAE训练，且无额外计算开销。
• 性能提升并非微不足道；其本质上是对VAE设计中长期被忽视的关键错误的修正，带来了在定性与定量指标上的可测量改进。