[论文解读] Variational Variance: Simple and Reliable Predictive Variance Parameterization

Andrew Stirn, David A. Knowles|arXiv (Cornell University)|Jun 8, 2020

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出一种变分方法，通过将方差视为具有推断混合比例的潜在变量，对变分自编码器（VAEs）中的预测方差进行建模，从而实现稳健的异方差不确定性估计。该方法通过与现有VAE理论及经验贝叶斯技术相结合，在无监督和有监督的连续数据建模中均提升了生成质量和泛化能力。

ABSTRACT

An often overlooked sleight of hand performed with variational autoencoders (VAEs), which has proliferated the literature, is to misrepresent the posterior predictive (decoder) distribution's expectation as a sample from that distribution. Jointly modeling the mean and variance for a normal predictive distribution can result in fragile optimization where the ultimately learned parameters can be ineffective at generating realistic samples. The two most common principled methods to avoid this problem are to either fix the variance or use the single-parameter Bernoulli distribution--both have drawbacks, however. Unfortunately, the problem of jointly optimizing mean and variance networks affects not only unsupervised modeling of continuous data (a taxonomy for many VAE applications) but also regression tasks. To date, only a handful of papers have attempted to resolve these difficulties. In this article, we propose an alternative and attractively simple solution: treat predictive variance variationally. Our approach synergizes with existing VAE-specific theoretical results and, being probabilistically principled, provides access to Empirical Bayes and other such techniques that utilize the observed data to construct well-informed priors. We extend the VAMP prior, which assumes a uniform mixture, by inferring mixture proportions and assignments. This extension amplifies our ability to accurately capture heteroscedastic variance. Notably, our methods experimentally outperform existing techniques on supervised and unsupervised modeling of continuous data.

研究动机与目标

• 解决VAE中常见但具有问题的做法：将后验预测均值误认为是样本，这会损害可靠的不确定性估计。
• 克服在正态似然下对均值和方差进行联合优化时的脆弱性，尤其是在连续数据和回归任务中。
• 开发一种概率上合理的替代方案，以替代固定方差或基于伯努利分布的方差建模方法，后者存在显著局限性。
• 通过推断混合比例和分配，扩展VAMP先验，实现对异方差方差的精确建模。

提出的方法

• 将预测方差视为通过变分分布建模的潜在变量，实现不确定性端到端优化。
• 通过推断混合比例和分量分配，扩展VAMP先验，实现灵活、数据驱动的异方差方差建模。
• 采用专家混合（mixture-of-experts）形式化方法，其中每个分量对应一个不同的方差水平，混合权重由数据学习得到。
• 通过考虑均值和方差中不确定性的变分下界，将方差建模整合到VAE目标函数中。
• 通过利用观测数据来指导方差上的先验分布，应用经验贝叶斯技术，提升先验校准性。
• 将该方法应用于无监督VAE和有监督回归任务，证明其广泛适用性。

实验结果

研究问题

• RQ1 变分参数化预测方差是否能提升VAE中生成样本的可靠性和真实性？
• RQ2 在连续数据建模中，对均值和方差网络进行联合优化如何影响模型的稳定性和性能？
• RQ3 在类似VAMP的先验中，推断出的混合比例和分配在多大程度上能提升异方差不确定性估计？
• RQ4 在无监督和有监督设置下，该方法是否优于固定方差和基于伯努利分布的方差建模？
• RQ5 该方法能否有效结合经验贝叶斯技术，以提升先验校准性和泛化能力？

主要发现

• 与现有方法相比，该方法在连续数据的无监督建模中实现了更优的生成质量，尤其在捕捉复杂方差结构方面表现突出。
• 通过学习异方差不确定性，该模型在回归任务中表现出更强的鲁棒性，优于采用固定方差或伯努利方差的基线模型。
• 在VAMP先验中推断混合比例和分配，显著增强了模型捕捉数据驱动方差模式的能力。
• 该方法通过从观测数据中导出的充分信息先验，实现了经验贝叶斯技术的有效应用。
• 实验结果证实，该方法在不同连续数据建模任务中均表现出稳定性与可扩展性，并持续带来性能提升。