[论文解读] Variational Variance: Simple, Reliable, Calibrated Heteroscedastic Noise Variance Parameterization

Andrew Stirn, David A. Knowles|arXiv (Cornell University)|Jun 8, 2020

Gaussian Processes and Bayesian Inference参考文献 33被引用 8

一句话总结

本文提出一种变分方法，用于在回归和变分自编码器（VAEs）中建模异方差性噪声方差，将方差视为具有先验的潜变量，以稳定训练并提升校准性能。该方法显著改善了预测均值与方差的校准效果、样本质量以及后验预测检查（PPCs）表现，同时在与最先进基线模型相比时保持了具有竞争力的似然度。

ABSTRACT

Brittle optimization has been observed to adversely impact model likelihoods for regression and VAEs when simultaneously fitting neural network mappings from a (random) variable onto the mean and variance of a dependent Gaussian variable. Previous works have bolstered optimization and improved likelihoods, but fail other basic posterior predictive checks (PPCs). Under the PPC framework, we propose critiques to test predictive mean and variance calibration and the predictive distribution's ability to generate sensible data. We find that our attractively simple solution, to treat heteroscedastic variance variationally, sufficiently regularizes variance to pass these PPCs. We consider a diverse gamut of existing and novel priors and find our methods preserve or outperform existing model likelihoods while significantly improving parameter calibration and sample quality for regression and VAEs.

研究动机与目标

• 为解决回归和变分自编码器（VAEs）中均值与方差网络联合优化时的不稳定性问题，即提升均值预测会促使方差估计趋近于零。
• 通过引入严格的后验预测检查（PPCs）来超越标准似然度指标，改善模型校准与预测性能。
• 开发一种简单、可靠且可校准的方差参数化方法，以保持异方差性并支持不确定性感知建模。
• 挑战仅凭高对数似然度即代表模型质量的假设，尤其在预测方差和样本生成质量较差时。
• 证明标准变分自编码器（VAE）实践——如报告解码器输出的均值而非从预测分布中采样——会掩盖真实不确定性，从而降低模型评估质量。

提出的方法

• 在变分贝叶斯框架中将异方差方差视为潜变量，为方差引入先验以正则化其估计。
• 使用方差参数的变分后验，使模型能够以原则性且可微的方式学习不确定性。
• 应用后验预测检查（PPCs）来评估均值与方差的校准性、预测分布质量以及样本的真实性。
• 比较多种方差先验（如伽马分布、VAMP、VBEM），选择能提升校准性而不损失似然度的先验。
• 使用从完整后验预测分布 $p(x^*|x)$ 中进行的蒙特卡洛采样来生成真实数据样本，而非仅报告期望值。
• 通过归一化对数似然度、均方误差（RMSE）与样本RMSE、方差偏差（衡量预测方差与经验方差之间的差异）来评估模型。

实验结果

研究问题

• RQ1 简单的变分方差处理方法是否能仅凭对数似然度之外的指标，提升模型校准性与预测性能？
• RQ2 为何在变分自编码器（VAEs）和回归模型中，高似然度模型常在后验预测检查中表现不佳，特别是在样本质量与方差校准方面？
• RQ3 将方差视为带有先验的潜变量，如何影响优化稳定性与不确定性估计？
• RQ4 标准变分自编码器（VAE）实践——如报告解码器输出的均值而非采样——在多大程度上掩盖了模型在不确定性与样本质量方面的失败？
• RQ5 统一框架在提升似然度与整体模型评估指标（如均值与方差校准）方面能达到何种程度？

主要发现

• 所提出的变分方差方法在保持具有竞争力的对数似然度的同时，显著优于最先进模型的后验预测检查表现，尤其在均值与方差校准方面。
• V3AE-Gamma 变体实现了最高的似然度（1201.95 ± 25.25）与最佳样本质量，方差偏差极低（−8.0e−3 ± 4.1e−4），RMSE 为 0.12 ± 3.4e−3。
• 固定方差的 VAE 模型（σ² = 0.001）生成了清晰的均值与样本，但对数似然度差且缺乏异方差性，表明尽管视觉上吸引人，模型仍存在失败。
• Student-VAE 实现了最高的似然度（3134.52 ± 18.60），但所有其他后验预测检查均失败，生成了无法辨认的样本，且均值与方差校准极差。
• Detlefsen 的 VAE 方差校准最差（偏差：9.97 ± 3.3e−4），样本质量也最差，因其学习到过度估计方差，原因是恒定先验值为 10。
• MAP-VAE 与 V3AE-Gamma 方法均保持了高似然度与优异的校准性，其中 V3AE-Gamma 在所有指标上表现更优，包括样本真实感与不确定性估计。