[论文解读] NCP-VAE: Variational Autoencoders with Noise Contrastive Priors

Jyoti Aneja, Alex Schwing+2 more|arXiv (Cornell University)|May 4, 2021

Generative Adversarial Networks and Image Synthesis被引用 21

一句话总结

本文提出NCP-VAE，一种带有噪声对比先验的变分自编码器，通过噪声对比估计学习重加权因子，使先验分布更紧密地匹配聚合后验分布，从而缓解先验空洞问题。该方法在不改变网络结构的前提下，显著提升了MNIST、CIFAR-10、CelebA 64和CelebA HQ 256上的图像生成质量。

ABSTRACT

Variational autoencoders (VAEs) are one of the powerful likelihood-based generative models with applications in various domains. However, they struggle to generate high-quality images, especially when samples are obtained from the prior without any tempering. One explanation for VAEs’ poor generative quality is the prior hole problem: the prior distribution fails to match the aggregate approximate posterior. Due to this mismatch, there exist areas in the latent space with high density under the prior that do not correspond to any encoded image. Samples from those areas are decoded to corrupted images. To tackle this issue, we propose an energy-based prior defined by the product of a base prior distribution and a reweighting factor, designed to bring the base closer to the aggregate posterior. We train the reweighting factor by noise contrastive estimation, and we generalize it to hierarchical VAEs with many latent variable groups. Our experiments confirm that the proposed noise contrastive priors improve the generative performance of state-of-the-art VAEs by a large margin on the MNIST, CIFAR-10, CelebA 64, and CelebA HQ 256 datasets.

研究动机与目标

• 为解决变分自编码器中的先验空洞问题，即先验中高密度区域不对应任何真实数据的问题。
• 改善变分自编码器中先验分布与聚合近似后验分布之间的对齐。
• 提出一种可泛化的通用方法，利用基于能量的先验与噪声对比估计提升VAE的生成质量。
• 将所提出的先验学习机制扩展至具有多个潜在变量组的层次化VAE。
• 在多样化的图像生成基准上实证验证该方法的有效性。

提出的方法

• 提出一种基于能量的先验，由基础先验和学习得到的重加权因子组成，以更好地匹配聚合后验分布。
• 使用噪声对比估计训练重加权因子，以区分真实潜在编码与噪声样本。
• 通过在多个潜在变量组上应用重加权因子，将该方法推广至层次化VAE。
• 在采样过程中使用重加权后的先验，避免从低概率潜在区域生成损坏图像。
• 将噪声对比先验无缝集成到标准VAE训练中，无需修改底层网络结构或目标函数。
• 采用对比损失优化重加权函数，确保其将先验推向后验密度较高的区域。

实验结果

研究问题

• RQ1 噪声对比估计能否有效学习到一种重加权函数，从而改善VAE中先验与后验的对齐？
• RQ2 所提出的基于能量的先验是否能有效缓解先验空洞问题并提升图像生成质量？
• RQ3 该方法在MNIST、CIFAR-10和CelebA HQ 256等复杂度各异的数据集上表现如何？
• RQ4 该方法能否成功扩展至具有多个潜在变量组的层次化VAE？
• RQ5 该方法是否能在不进行网络结构修改或超参数调优的情况下提升生成性能？

主要发现

• 与基线VAE相比，所提出的NCP-VAE在MNIST、CIFAR-10、CelebA 64和CelebA HQ 256上显著提升了图像生成质量。
• 该方法通过学习一个能将先验与聚合后验对齐的重加权因子，有效缓解了先验空洞问题。
• 噪声对比先验使生成样本更加真实，且在不使用温度调节直接从先验采样时，显著减少了图像损坏现象。
• 该方法在不同架构和数据集上表现一致，显示出广泛的适用性。
• 该方法在层次化VAE中也具有良好泛化能力，保持了在深度生成模型中的性能优势。
• 结果证实，通过噪声对比估计学习数据驱动的重加权因子，可在不修改网络结构的前提下显著增强VAE性能。