[论文解读] Variational Laplace Autoencoders

Yookoon S. Park, Chris Dongjoo Kim+1 more|arXiv (Cornell University)|Nov 30, 2022

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 12

一句话总结

本文提出变分拉普拉斯自编码器（VLAE），一种新型深度生成模型，通过使用迭代拉普拉斯近似来改进变分自编码器（VAE）中的变分推断。通过应用共轭梯度优化和谨慎的权重初始化，VLAE在CIFAR10等复杂数据集上实现了更优的重建质量，并缓解了潜在变量崩溃问题。

ABSTRACT

Variational autoencoders employ an amortized inference model to approximate the posterior of latent variables. However, such amortized variational inference faces two challenges: (1) the limited posterior expressiveness of fully-factorized Gaussian assumption and (2) the amortization error of the inference model. We present a novel approach that addresses both challenges. First, we focus on ReLU networks with Gaussian output and illustrate their connection to probabilistic PCA. Building on this observation, we derive an iterative algorithm that finds the mode of the posterior and apply full-covariance Gaussian posterior approximation centered on the mode. Subsequently, we present a general framework named Variational Laplace Autoencoders (VLAEs) for training deep generative models. Based on the Laplace approximation of the latent variable posterior, VLAEs enhance the expressiveness of the posterior while reducing the amortization error. Empirical results on MNIST, Omniglot, Fashion-MNIST, SVHN and CIFAR10 show that the proposed approach significantly outperforms other recent amortized or iterative methods on the ReLU networks.

研究动机与目标

• 通过迭代优化改进后验推断，以解决标准VAE中的近似差距和迁移差距。
• 减少潜在变量崩溃，这是VAE训练中常见的失败模式，尤其是在更深或更复杂的架构中。
• 通过适当的初始化和归一化稳定梯度流，从而提升生成质量。
• 评估共轭梯度方法作为变分推断中迭代更新规则的可扩展替代方案的有效性。
• 展示对超参数设置的鲁棒性，并在包括MNIST、Omniglot、SVHN和CIFAR10在内的多样化数据集上实现性能提升。

提出的方法

• 提出一种使用拉普拉斯近似的迭代优化方案，通过T步迭代来优化近似后验 $q_{\bm{\phi}}(\bm{z}|\bm{x})$。
• 采用梯度更新规则 $\bm{\lambda}_{t+1} = \bm{\lambda}_t + \alpha_t \frac{\partial}{\partial \bm{\lambda}} \mathcal{L}_{\bm{\theta}}(\bm{x}; \bm{\lambda}_t)$，其中 $\alpha_t = 0.5/(t+1)$，以优化变分参数。
• 在VLAE+CG中，用非线性共轭梯度（Polak-Ribière）上升法替代迭代更新，实现更快收敛且性能相当。
• 使用He初始化，增益为 $2^{1/3}$，以在反向传播中保持梯度方差，防止后验崩溃。
• 应用输入归一化，使初始重建损失约为1，从而稳定训练初期的动力学。
• 采用ADAM优化器，学习率为0.0005，批量大小为128，训练最多2000个周期，并在验证损失上使用早停策略。

实验结果

研究问题

• RQ1 迭代拉普拉斯近似能否改善VAE中的后验估计并减少近似差距？
• RQ2 在VLAE中，共轭梯度优化与标准迭代更新相比，在速度和性能方面表现如何？
• RQ3 适当的权重初始化和归一化在多大程度上能防止深层VAE中的潜在变量崩溃？
• RQ4 与标准VAE及其他基线模型相比，VLAE在CIFAR10等复杂数据集上的表现如何？
• RQ5 梯度方差保持对VAE训练的稳定性和性能有何影响？

主要发现

• VLAE+CG在MNIST上的训练速度比标准VLAE快约25%，性能仅下降约1%。
• VLAE和VAE+IAF相比SA-VAE对超参数设置更具鲁棒性，后者对学习率和初始化敏感。
• 适当的初始化（He初始化，增益为 $2^{1/3}$）和输入归一化显著减少了潜在变量崩溃，尤其在深层模型中。
• VLAE在所有数据集（包括MNIST、Fashion-MNIST、Omniglot、SVHN和CIFAR10）上的重建结果均清晰锐利。
• 在CIFAR10等复杂数据集上，生成样本仍显模糊，表明卷积架构可能进一步提升生成质量。
• 通过适当的初始化，重建梯度（对防止崩溃至关重要）得到有效保持，从而抵消了早期训练中KL散度梯度的主导影响。