[论文解读] Preventing Posterior Collapse Induced by Oversmoothing in Gaussian VAE.

Yuhta Takida, Wei‐Hsiang Liao+3 more|arXiv (Cornell University)|Feb 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 10

一句话总结

该论文提出AR-ELBO，一种自适应正则化高斯VAE中方差参数的方法，以防止因过度平滑导致的后验崩溃。通过在训练过程中动态调整方差，AR-ELBO提升了潜在空间质量，并在MNIST和CelebA数据集上实现了SOTA的FID分数，展示了在非均匀数据方差下的鲁棒生成能力。

ABSTRACT

Variational autoencoders (VAEs) often suffer from posterior collapse, which is a phenomenon in which the learned latent space becomes uninformative. This is often related to a hyperparameter resembling the data variance. It can be shown that an inappropriate choice of this parameter causes oversmoothness and leads to posterior collapse in the linearly approximated case and can be empirically verified for the general cases. Therefore, we propose AR-ELBO (Adaptively Regularized Evidence Lower BOund), which controls the smoothness of the model by adapting this variance parameter. In addition, we extend VAE with alternative parameterizations on the variance parameter to deal with non-uniform or conditional data variance. The proposed VAE extensions trained with AR-ELBO show improved Frechet inception distance (FID) on images generated from the MNIST and CelebA datasets.

研究动机与目标

• 为解决变分自编码器中的后验崩溃问题，该问题源于方差超参数选择不当导致潜在空间失去信息量。
• 研究不恰当的方差设置所引起的过度平滑如何在线性和一般VAE情况下导致后验崩溃。
• 开发一种通过在训练过程中学习方差参数来自适应控制模型平滑度的方法。
• 扩展VAE的参数化方式，以处理潜在空间中非均匀或条件变化的数据方差。
• 在图像生成基准上实证验证所提方法，展示生成质量的提升。

提出的方法

• 提出AR-ELBO，一种自适应正则化技术，通过调整ELBO目标中的方差参数来控制模型平滑度。
• 在证据下界（ELBO）中引入自适应方差项，以减少过度平滑并防止后验崩溃。
• 提出方差的替代参数化方式，以在潜在空间中建模非均匀或条件性数据方差。
• 使用基于梯度的优化方法训练VAE，使模型能够为每个数据点学习最优平滑度。
• 采用线性近似方法，从理论上证明方差在诱导后验崩溃中的作用。
• 通过允许方差在潜在维度或输入条件之间变化，将方法扩展至处理复杂数据分布。

实验结果

研究问题

• RQ1 不恰当选择的方差超参数如何导致高斯VAE中的后验崩溃？
• RQ2 对方差参数进行自适应正则化是否能防止在线性和一般VAE情况下的后验崩溃？
• RQ3 与固定方差设置的标准VAE相比，AR-ELBO如何提升生成质量？
• RQ4 替代的方差参数化方式是否能更好地捕捉潜在空间中的非均匀或条件性数据方差？
• RQ5 AR-ELBO对图像生成任务中标准评估指标（如FID）有何影响？

主要发现

• AR-ELBO通过自适应控制方差参数，有效防止后验崩溃，减少了潜在空间中的过度平滑。
• 该方法在MNIST和CelebA上的FID分数得到提升，表明其在图像生成质量上优于标准VAE。
• 理论分析表明，错误的方差选择即使在近似线性情况下也会导致过度平滑和后验崩溃。
• 实证结果证实，所提出的方差自适应策略可泛化至复杂的真实世界数据分布，而不仅限于线性模型。
• 对方差的替代参数化方式能够更好地建模非均匀或条件性数据方差，从而增强表征学习能力。
• AR-ELBO框架在基准数据集上实现了SOTA的FID性能，验证了其有效性。