[论文解读] Probabilistic Autoencoder

Vanessa Böhm, Uroš Seljak|arXiv (Cornell University)|Jun 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 9

一句话总结

概率自编码器（PAE）提出了一种两阶段生成模型，首先训练标准自编码器以实现低重建误差，然后在学习到的潜在空间上应用归一化流，以建模其概率分布。与变分自编码器（VAE）相比，该方法在无需变分推断或超参数调优的前提下，实现了更快的训练速度、更低的重建误差以及具有竞争力的生成样本质量，同时通过潜在空间密度估计实现了有效的异常值检测。

ABSTRACT

Principal Component Analysis (PCA) minimizes the reconstruction error given a class of linear models of fixed component dimensionality. Probabilistic PCA adds a probabilistic structure by learning the probability distribution of the PCA latent space weights, thus creating a generative model. Autoencoders (AE) minimize the reconstruction error in a class of nonlinear models of fixed latent space dimensionality and outperform PCA at fixed dimensionality. Here, we introduce the Probabilistic Autoencoder (PAE) that learns the probability distribution of the AE latent space weights using a normalizing flow (NF). The PAE is fast and easy to train and achieves small reconstruction errors, high sample quality, and good performance in downstream tasks. We compare the PAE to Variational AE (VAE), showing that the PAE trains faster, reaches a lower reconstruction error, and produces good sample quality without requiring special tuning parameters or training procedures. We further demonstrate that the PAE is a powerful model for performing the downstream tasks of probabilistic image reconstruction in the context of Bayesian inference of inverse problems for inpainting and denoising applications. Finally, we identify latent space density from NF as a promising outlier detection metric.

研究动机与目标

• 开发一种简单、稳定且易于训练的生成模型，避免VAE中存在的复杂超参数调优与训练不稳定性问题。
• 通过使用归一化流学习自编码器潜在空间的真实概率分布，以提升重建质量与生成样本质量。
• 在不依赖变分推断的前提下，实现对概率图像去噪、图像修复和异常检测等下游任务的稳健应用。
• 提出一种基于潜在空间中归一化流密度估计的新异常值检测指标，其性能优于传统基于VAE ELBO的方法。

提出的方法

• 训练标准自编码器以最小化重建误差，优化低维潜在表示。
• 对训练好的编码器的潜在空间应用归一化流，以学习潜在变量的完整概率分布。
• 通过可逆、可微变换将简单基础分布转换，利用归一化流生成样本。
• 利用归一化流的对数似然实现概率推理，包括重建不确定性估计与密度估计。
• 将ELBO分解为失真、率、熵与交叉熵项，以分析和比较异常值检测性能。
• 将归一化流估计的潜在空间密度用作一种新颖且有效的分布外（OoD）检测指标。

实验结果

研究问题

• RQ1 两阶段方法（先训练自编码器以实现重建，再用归一化流学习其潜在分布）是否能优于端到端的VAE？
• RQ2 PAE是否在无需ELBO超参数调优的情况下，实现比VAE更低的重建误差与更快的训练速度？
• RQ3 潜在空间中的归一化流密度是否可作为优于VAE中ELBO的异常值检测指标？
• RQ4 与VAE相比，PAE在概率图像去噪与图像修复等下游任务中的表现如何？
• RQ5 当使用表达能力强的归一化流时，所提出的PAE框架是否对过拟合与记忆化现象具有鲁棒性？

主要发现

• PAE的训练速度显著快于VAE，并在所有评估数据集上均实现了更低的重建误差。
• PAE生成的样本质量与VAE相当，且无需特殊训练过程或超参数退火。
• 通过归一化流估计的潜在空间密度在异常值检测中优于ELBO，在MNIST数据集上达到0.9970的AUROC，在Omniglot数据集上达到0.9736。
• ELBO中的交叉熵项（与潜在空间密度相关）是一种可靠的OoD检测指标，其在MNIST上的flow-VAE模型AUROC最高达0.9963。
• PAE框架支持有效的贝叶斯推理，可在逆问题中实现优异的性能，尤其在概率图像去噪与图像修复任务中表现突出。
• 基于归一化流的潜在空间密度估计是一种鲁棒且可泛化的异常值检测指标，可直接应用于具有NF先验的VAE模型。