[论文解读] PixelVAE++: Improved PixelVAE with Discrete Prior

H. Sadeghi, Evgeny Andriyash+3 more|arXiv (Cornell University)|Aug 26, 2019

Advanced Neural Network Applications参考文献 60被引用 15

一句话总结

PixelVAE++ 通过将 PixelCNN++ 解码器与使用离散潜在变量和受限玻尔兹曼机（RBM）先验的层次化变分自编码器相结合，改进了图像的生成建模。该模型在 MNIST、Omniglot 和 CIFAR-10 上实现了最先进的对数似然性能，相比高斯先验，其表示解耦性更好且条件生成更清晰，同时参数量比 PixelCNN++ 减少了 25%。

ABSTRACT

Constructing powerful generative models for natural images is a challenging task. PixelCNN models capture details and local information in images very well but have limited receptive field. Variational autoencoders with a factorial decoder can capture global information easily, but they often fail to reconstruct details faithfully. PixelVAE combines the best features of the two models and constructs a generative model that is able to learn local and global structures. Here we introduce PixelVAE++, a VAE with three types of latent variables and a PixelCNN++ for the decoder. We introduce a novel architecture that reuses a part of the decoder as an encoder. We achieve the state of the art performance on binary data sets such as MNIST and Omniglot and achieve the state of the art performance on CIFAR-10 among latent variable models while keeping the latent variables informative.

研究动机与目标

• 改进变分自编码器在建模图像全局与局部结构方面的能力。
• 通过将 VAE 与自回归解码器结合，解决 VAE 在重建细粒度细节方面的局限性。
• 研究离散潜在先验（特别是 RBM 先验）对表征质量和生成性能的影响。
• 在保持或提升基准数据集上对数似然与解耦性的同时，降低模型复杂度。
• 通过优化潜在变量上的先验分布，实现更具信息量且更清晰的条件生成。

提出的方法

• 引入一种具有三种类型潜在变量的层次化 VAE：512 个连接的潜在变量、128 个条件潜在变量，以及 8×8×3×(n+1) 个共享潜在变量。
• 采用 PixelCNN++ 解码器进行图像像素的自回归建模，实现对局部细节的高保真重建。
• 在解码器与层次化编码器之间共享大部分参数，降低模型复杂度，并支持端到端训练。
• 通过 Gumbel-Softmax 估计器实现连续松弛，使梯度能反向传播通过 RBM 先验中的离散潜在变量。
• 采用全可见 RBM 作为离散潜在变量的先验，以建模潜在空间中复杂且多模态的分布。
• 通过松弛目标优化证据下界（ELBO），实现具有 RBM 先验的 DVAE 的训练。

实验结果

研究问题

• RQ1 具有离散潜在先验和自回归解码器的 VAE 是否能在图像生成任务中实现比现有模型更优的对数似然性能？
• RQ2 先验选择（高斯先验 vs. RBM 先验）如何影响图像生成中条件分布的解耦性与清晰度？
• RQ3 编码器与解码器之间共享参数在多大程度上能降低模型复杂度而不损失性能？
• RQ4 离散潜在变量是否能有效捕捉全局图像特征（如数字类别、物体组成），同时由自回归解码器建模局部变化？
• RQ5 与标准高斯先验相比，使用 RBM 先验是否能提升潜在空间的信息量与表达能力？

主要发现

• 在 CIFAR-10 上，PixelVAE++ 实现了 2.90 比特每维（bpd）的对数似然性能，优于其他潜在变量模型，并在参数减少 25% 的情况下与 PixelCNN++ 表现相当。
• 在 MNIST 上，该模型使用 RBM 先验时测试对数似然为 -78.65 bpd，略优于高斯先验版本（-78.66 bpd），且 KL 散度显著更低（7.62 vs. 6.86），表明后验分布与先验分布对齐更好。
• 在 Omniglot 上，RBM 先验模型的测试对数似然为 -88.29 bpd，优于高斯先验模型（-88.65 bpd），且条件分布更清晰，能更好捕捉形状变化。
• RBM 先验使潜在空间更具信息量，表现为后验与先验之间 KL 散度更低，且全局特征的解耦性更好。
• 条件生成结果表明，RBM 先验模型在每个潜在码生成的多个样本中均能产生更清晰、更一致的重建结果，尤其在 MNIST 和 Omniglot 上表现突出。
• 在 CIFAR-10 上，尽管条件分布较宽泛，该模型仍能捕捉到如颜色和构图等全局特征，且 RBM 先验在对数似然与解耦性方面优于高斯先验。