[论文解读] Variational Autoencoders with Normalizing Flow Decoders

Rogan Morrow, Wei-Chen Chiu|arXiv (Cornell University)|Apr 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 16

一句话总结

该论文提出了一种混合生成模型，将变分自编码器（VAE）与归一化流解码器（Glow）相结合，以在不牺牲图像质量的前提下提高训练效率。通过先训练VAE，再使用Glow流进行微调，该模型在保持竞争性FID分数和每维比特数的同时，相比独立的Glow模型将训练时间减少了3.5倍以上。

ABSTRACT

Recently proposed normalizing flow models such as Glow have been shown to be able to generate high quality, high dimensional images with relatively fast sampling speed. Due to their inherently restrictive architecture, however, it is necessary that they are excessively deep in order to train effectively. In this paper we propose to combine Glow with an underlying variational autoencoder in order to counteract this issue. We demonstrate that our proposed model is competitive with Glow in terms of image quality and test likelihood while requiring far less time for training.

研究动机与目标

• 解决像Glow这样的归一化流模型的高计算成本和长训练时间问题，这些模型需要深层架构来弥补结构约束。
• 提升标准VAE的样本质量，因为标准VAE通常因受限的高斯假设和独立像素解码器而产生模糊图像。
• 通过利用VAE紧凑的潜在空间作为归一化流的先验，实现基于似然的生成模型的更快训练。
• 证明两阶段训练流程——先训练VAE，再添加Glow流——能够在减少训练时间的同时实现具有竞争力的图像质量。

提出的方法

• 使用带有深度残差编码器和可学习的对角高斯解码器的标准VAE，以学习紧凑且解耦的潜在表征。
• 在VAE的潜在空间之上应用单层Glow归一化流，以建模复杂且非高斯的似然分布，并优化生成样本。
• 首先训练VAE 1,000个周期，然后对Glow流再进行1,000个周期的微调，使用共享的潜在空间和共享的优化调度。
• 实现Glow流时采用16个耦合层，每层包含两个具有ReLU激活的全连接层，以实现可逆的、基于归一化流的变换。
• 在VAE解码器中引入可学习的缩放参数γ，以优化像素级高斯分布的方差，从而提升重建质量。
• 采用两阶段训练：首先优化VAE以学习有意义的潜在空间，然后将VAE的潜在码作为输入用于Glow流的优化。

实验结果

研究问题

• RQ1 将VAE与归一化流解码器结合，是否能在保持或提升图像质量的同时，相比独立的Glow模型减少训练时间？
• RQ2 两阶段训练流程——先训练VAE，再添加Glow流——是否能产生比标准VAE更具多样性且更清晰的图像？
• RQ3 VAE的潜在空间在多大程度上可作为归一化流的有效先验，从而实现更快的收敛和更优的似然分数？
• RQ4 在CIFAR-10和CelebA数据集上，该模型与SOTA级基于似然的模型（如Glow、PixelCNN和Residual Flow）相比，其FID和每维比特数表现如何？
• RQ5 Glow流是否可作为“锐化”模块，在不破坏VAE潜在表征的前提下保留内容并增强细节？

主要发现

• 该模型在CIFAR-10上实现了42.14的Fréchet Inception Distance（FID）分数，优于Glow（46.90），并匹配或超过其他基于似然的模型。
• 在CelebA数据集上，该模型实现了20.59的FID分数，略高于Glow的19.00，但处于可竞争范围内，且每维比特数≤2.50。
• 与独立的Glow相比，该模型将训练时间减少了3.5倍以上，在单张GTX 1080 Ti上每周期平均仅需140秒，而Glow约为512秒。
• 定性结果表明，Glow层起到了“锐化”模块的作用：VAE生成的样本模糊，但经过Glow处理后，图像显著更清晰且内容保持完整。
• 潜在空间插值结果表明，该模型学习到了紧凑且解耦的表征，表现为生成图像之间平滑的过渡。
• 在VAE中引入可学习的解码器方差可提升重建质量，并在与归一化流结合时实现与最优VAE目标更好的对齐。