[论文解读] Resampled Priors for Variational Autoencoders
本文提出了一种名为Lars（Learned Accept/Reject Sampling）的方法，通过学习一个接受函数对基础先验进行重采样，从而提升变分自编码器（VAE）的性能，构建出更丰富、更具表现力的先验分布。该方法实现了高效的训练与采样，在标准数据集上取得了更高的ELBO值和更优的生成质量，尤其在结合基于流的提议分布时效果更佳。
We propose Learned Accept/Reject Sampling (LARS), a method for constructing richer priors using rejection sampling with a learned acceptance function. This work is motivated by recent analyses of the VAE objective, which pointed out that commonly used simple priors can lead to underfitting. As the distribution induced by LARS involves an intractable normalizing constant, we show how to estimate it and its gradients efficiently. We demonstrate that LARS priors improve VAE performance on several standard datasets both when they are learned jointly with the rest of the model and when they are fitted to a pretrained model. Finally, we show that LARS can be combined with existing methods for defining flexible priors for an additional boost in performance.
研究动机与目标
- 为解决VAE中先验与聚合后验之间的不匹配问题，该问题可能导致使用标准先验时出现欠拟合。
- 开发一种构建表达性强、可计算的先验的方法，以提升VAE性能，同时不牺牲采样效率。
- 实现拒绝采样中接受函数的端到端学习，仅使用目标分布的样本即可完成。
- 提供一种灵活、模块化的方法，可与现有技术（如归一化流）结合，进一步提升性能。
- 支持预训练VAE中先验的联合训练与事后适应。
提出的方法
- Lars使用一个学习的接受函数（通常为神经网络）对基础先验（如标准正态分布）执行拒绝采样，将其转化为更丰富、更具表现力的先验。
- 接受函数通过ELBO目标进行端到端训练，使模型能够学习到更匹配聚合后验的密度。
- Lars的截断变体通过在固定次数拒绝后强制接受，确保最低接受率，从而提升采样效率。
- 通过蒙特卡洛采样估计最终重采样先验的归一化常数，实现可靠的模型比较。
- 该方法具有通用性，适用于连续与离散潜在空间，且可与流等其他灵活先验模型结合使用。
- 接受函数有效学习了聚合后验与提议分布之间的密度比，而无需显式计算密度。
实验结果
研究问题
- RQ1在拒绝采样中，学习的接受函数是否能生成更具表现力的先验，从而提升VAE性能？
- RQ2在训练过程中，如何高效估计并微分重采样先验的归一化常数？
- RQ3Lars是否可应用于联合训练与预训练VAE的事后优化？
- RQ4Lars中采样效率与近似精度之间的权衡是什么？如何进行控制？
- RQ5与基于流或VampPrior等其他灵活先验方法相比，Lars在ELBO值与生成质量方面表现如何？
主要发现
- 与标准正态先验相比，Lars先验在MNIST、CIFAR-10和CelebA等多个标准数据集上显著提升了ELBO值。
- 当与基于流的提议分布结合时，Lars进一步提升了ELBO值，表明其与现有灵活先验方法具有良好的兼容性与协同效应。
- Lars的截断版本实现了采样效率与近似质量之间的可控权衡，在高截断阈值下性能下降极小。
- Lars可事后应用于预训练VAE，在该场景下，学习到的接受函数能有效按重建质量对潜在样本进行排序。
- 该方法可推广至离散潜在空间，如在VAE的离散输出分布上验证，展现出广泛适用性。
- 重采样先验的显式密度使得可通过蒙特卡洛方法可靠估计归一化常数，实现可靠的模型比较。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。