[论文解读] Perceptual Generative Autoencoders

Zijun Zhang, Ruixiang Zhang+3 more|arXiv (Cornell University)|Jun 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 14

一句话总结

本文提出感知生成自编码器（PGA），一种通过标准自编码器的编码器在学习到的潜在空间中匹配目标数据与生成数据分布的框架。通过在数据空间和潜在空间中施加理论合理的重建损失以实现一致性，PGA 实现了无需对抗训练的最大似然或 VAE 目标，从而在 CIFAR-10 和 CelebA 上实现了最先进的 FID 分数，同时相比基线 VAE 提升了样本质量，并将可逆流模型推广至任意架构和潜在维度。

ABSTRACT

Modern generative models are usually designed to match target distributions directly in the data space, where the intrinsic dimension of data can be much lower than the ambient dimension. We argue that this discrepancy may contribute to the difficulties in training generative models. We therefore propose to map both the generated and target distributions to a latent space using the encoder of a standard autoencoder, and train the generator (or decoder) to match the target distribution in the latent space. Specifically, we enforce the consistency in both the data space and the latent space with theoretically justified data and latent reconstruction losses. The resulting generative model, which we call a perceptual generative autoencoder (PGA), is then trained with a maximum likelihood or variational autoencoder (VAE) objective. With maximum likelihood, PGAs generalize the idea of reversible generative models to unrestricted neural network architectures and arbitrary number of latent dimensions. When combined with VAEs, PGAs substantially improve over the baseline VAEs in terms of sample quality. Compared to other autoencoder-based generative models using simple priors, PGAs achieve state-of-the-art FID scores on CIFAR-10 and CelebA.

研究动机与目标

• 为解决非对抗性生成模型（如 VAE）的不稳定性和性能局限性，这些模型常生成模糊样本。
• 克服可逆生成模型在架构和维度上的限制，这些模型要求数据空间与潜在空间维度相等且网络设计受限。
• 通过在内在维度低于环境维度的潜在空间中进行训练，提升自编码器基生成模型的性能。
• 提供一个理论基础坚实的框架，通过在潜在空间中强制分布匹配来确保数据空间中的正确分布匹配。
• 在不使用对抗组件的前提下，将最大似然和 VAE 目标统一于单一训练框架中。

提出的方法

• 该方法使用标准自编码器将真实数据和生成数据映射到共享的潜在空间，在该空间中匹配目标分布与生成分布。
• 通过数据重建损失和潜在空间重建损失实现一致性，理论证明在弱假设下最小化潜在误差可隐含实现数据空间中的分布匹配。
• 对于最大似然训练（LPGA），通过消除对可逆层的需求，将可逆流推广至无限制架构和任意潜在维度。
• 对于基于 VAE 的训练（VPGA），将 VAE 目标与潜在空间重建损失结合，以在不使用辅助模型或复杂架构的前提下提升样本清晰度。
• 该框架兼容标准组件（如批归一化），尽管当批归一化应用于不同输入分布时可能引发稳定性问题。
• 训练目标结合了数据重建损失、潜在空间重建损失，以及最大似然或 VAE 目标，其中超参数 α、β、γ 和 η 控制损失权重。

实验结果

研究问题

• RQ1 在学习到的潜在空间中匹配目标分布是否能确保数据空间中的正确分布匹配？在何种条件下成立？
• RQ2 非对抗性生成自编码器是否能在不依赖 GAN 或复杂架构的前提下实现最先进的样本质量？
• RQ3 与直接在数据空间中匹配相比，在低维潜在空间中训练是否能提升训练稳定性和样本质量？
• RQ4 该框架能否将可逆流模型推广至任意神经网络架构和潜在维度？
• RQ5 潜在空间重建损失在性能提升方面相较于基线 VAE 和最大似然模型起到了何种作用？

主要发现

• LPGA 在 MNIST 上取得 16.99 的 Fréchet Inception Distance（FID）分数，在 CIFAR-10 上为 114.19，在 CelebA 上为 48.02，展现出强大的生成性能。
• VPGA 在 CIFAR-10 和 CelebA 上实现了最先进的 FID 分数，显著提升了基线 VAE 的样本质量，且无需辅助模型。
• 消融研究证实，若移除潜在空间重建损失，视觉质量与 FID 均显著下降，证明其在性能中的关键作用。
• 由于采用非对抗性损失，PGA 训练过程稳定，总损失快速收敛，FID 在训练过程中单调下降。
• 当稳定时，批归一化可加速收敛并提升性能，但可能因解码器接收不同输入分布而引入不稳定性。
• 该框架将最大似然与 VAE 目标统一于单一训练范式下，实现了灵活且高性能的生成建模。