[论文解读] PixelVAE: A Latent Variable Model for Natural Images

Ishaan Gulrajani, Kundan Kumar+5 more|arXiv (Cornell University)|Nov 15, 2016

Generative Adversarial Networks and Image Synthesis被引用 82

一句话总结

PixelVAE 提出了一种分层变分自编码器，将基于 PixelCNN 的自回归解码机制整合进 VAE 框架，实现了使用压缩潜在码的高质量图像生成。该方法在二值化 MNIST 上达到最先进（SOTA）的对数似然性能，在 64×64 ImageNet 上表现具有竞争力，并在 LSUN 卧室数据集上生成了高保真度样本，通过在像素级和潜在特征图上使用自回归先验，实现了多尺度图像结构建模。

ABSTRACT

Natural image modeling is a landmark challenge of unsupervised learning. Variational Autoencoders (VAEs) learn a useful latent representation and model global structure well but have difficulty capturing small details. PixelCNN models details very well, but lacks a latent code and is difficult to scale for capturing large structures. We present PixelVAE, a VAE model with an autoregressive decoder based on PixelCNN. Our model requires very few expensive autoregressive layers compared to PixelCNN and learns latent codes that are more compressed than a standard VAE while still capturing most non-trivial structure. Finally, we extend our model to a hierarchy of latent variables at different scales. Our model achieves state-of-the-art performance on binarized MNIST, competitive performance on 64x64 ImageNet, and high-quality samples on the LSUN bedrooms dataset.

研究动机与目标

• 解决标准 VAE 在捕捉细微细节方面的局限性，以及 PixelCNN 在缺乏解耦潜在表示方面的不足。
• 将自回归建模整合进 VAE，以提升生成样本的清晰度，同时保持紧凑且有意义的潜在码。
• 设计一种分层架构，不仅对像素，也对中间潜在特征图应用自回归建模。
• 在 MNIST、ImageNet 和 LSUN 卧室等基准数据集上，展示生成样本质量与对数似然的提升。
• 研究分层生成模型中多个潜在层对场景属性的解耦程度。

提出的方法

• 采用在多个空间尺度（如 1×1 和 8×8 分辨率）上具有随机潜在变量的 VAE 框架。
• 用基于 PixelCNN 的自回归解码器替代标准的独立像素解码器，使用掩码卷积。
• 在分层结构中，不仅对输出像素，也对高层潜在特征图应用自回归建模。
• 使用教师强制（teacher forcing）进行重建训练，生成阶段则采用随机采样。
• 利用掩码卷积在像素空间和潜在空间解码器中均强制实现自回归顺序。
• 采用分层先验结构，其中每一层潜在变量均使用 PixelCNN 自回归建模，实现在多尺度上的结构化生成。

实验结果

研究问题

• RQ1 将自回归建模与 VAE 结合，是否能在保持紧凑且解耦潜在表示的同时提升样本质量？
• RQ2 与完整 PixelCNN 相比，解码器中自回归层的数量如何影响性能与计算成本？
• RQ3 在 VAE 框架中，能否通过自回归先验有效建模分层潜在变量以捕捉多尺度图像结构？
• RQ4 分层结构中不同潜在层在多大程度上分别建模了图像的几何、颜色与纹理等属性？
• RQ5 所提模型是否在复杂数据集（如 64×64 ImageNet）上实现具有竞争力的对数似然，同时生成高质量样本？

主要发现

• PixelVAE 在二值化 MNIST 上实现了最先进（SOTA）的对数似然性能，在似然性和样本质量方面均优于标准 VAE 和 PixelCNN。
• 在 64×64 ImageNet 上，模型达到具有竞争力的对数似然性能，验证集 NLL ≤3.66，略低于 PixelRNN，但样本全局一致性显著更优。
• 分层 PixelVAE 在 LSUN 卧室数据集上生成了高质量且多样化的样本，展示了跨尺度的结构化场景建模能力。
• 消融实验表明，若将高层 PixelCNN 解码器替换为对角高斯解码器，将导致对数似然下降，证实了在多层级使用自回归建模的有效性。
• 对生成图像的视觉检查显示，顶层潜在变量建模房间结构，中层潜在变量建模颜色与纹理，像素级潜在变量则建模阴影与对齐等精细细节。
• 与标准 VAE 相比，该模型学习到更紧凑的潜在表示，同时仍能捕捉大部分非平凡的图像结构，表明其在解耦表示学习方面具有更强的归纳偏置。