[论文解读] Normalizing Constant Estimation with Gaussianized Bridge Sampling

He Jia, Uroš Seljak|arXiv (Cornell University)|Dec 12, 2019

Gaussian Processes and Bayesian Inference参考文献 22被引用 6

一句话总结

该论文提出高斯化桥接采样（GBS），一种新颖的方法，通过将归一化流（NF）与最优桥接采样（OBS）结合，用于在贝叶斯推断中估计归一化常数。利用后验MCMC样本，GBS通过一种新型迭代神经变换（INT）NF学习高斯化密度估计器，然后应用OBS以高精度和低计算成本计算归一化常数——在速度和精度上优于嵌套采样（Nested Sampling）和冷凝重要性采样（Annealed Importance Sampling），同时提供可靠的误差估计。

ABSTRACT

Normalizing constant (also called partition function, Bayesian evidence, or marginal likelihood) is one of the central goals of Bayesian inference, yet most of the existing methods are both expensive and inaccurate. Here we develop a new approach, starting from posterior samples obtained with a standard Markov Chain Monte Carlo (MCMC). We apply a novel Normalizing Flow (NF) approach to obtain an analytic density estimator from these samples, followed by Optimal Bridge Sampling (OBS) to obtain the normalizing constant. We compare our method which we call Gaussianized Bridge Sampling (GBS) to existing methods such as Nested Sampling (NS) and Annealed Importance Sampling (AIS) on several examples, showing our method is both significantly faster and substantially more accurate than these methods, and comes with a reliable error estimation.

研究动机与目标

• 解决贝叶斯推断中归一化常数估计长期存在的精确性与效率挑战。
• 与现有方法（如嵌套采样和冷凝重要性采样）相比，降低计算成本并提高精度。
• 开发一种利用后验MCMC样本进行归一化常数估计的方法，且额外的似然评估次数极少。
• 为计算出的归一化常数提供可靠的误差估计框架。
• 实现在标准CPU平台上的实用化、可扩展的归一化常数估计，无需特殊调优。

提出的方法

• 该方法使用后验MCMC样本作为输入，训练一种归一化流（具体为新型迭代神经变换INT）以解析建模后验密度。
• 所学习的NF将后验映射到标准正态分布，从而得到归一化提议密度q(x)，其归一化常数Z_q = 1。
• 应用最优桥接采样（OBS），结合后验p(x)与NF导出的q(x)，利用恒等式E_q[α(x)p(x)] = Z_p / Z_q * E_p[α(x)q(x)]来估计Z_p。
• 通过求解使估计相对均方误差最小化的得分方程（S(r) = 0），推导出最优桥接函数α(x)。
• 采用自适应采样策略，根据误差贡献阈值（f_err = 0.1）和评估分数限制（f_eva = 0.1），将更多样本分配给q(x)（即NF提议）。
• 通过在误差估计公式中引入自相关时间的积分（τ_f2），考虑MCMC样本中的自相关性。

实验结果

研究问题

• RQ1 基于归一化流的密度估计器与最优桥接采样结合，能否显著提升归一化常数估计的准确性？
• RQ2 在高维问题中，GBS的计算成本和精度与嵌套采样和冷凝重要性采样相比如何？
• RQ3 能否在仅进行标准MCMC采样之外的极少额外似然评估下，获得可靠的误差估计？
• RQ4 在p(x)与q(x)之间自适应分配样本是否能显著提高归一化常数估计的效率？
• RQ5 所提出的方法能否在标准CPU平台上高效实现，而无需特殊调优？

主要发现

• GBS在基准问题上的精度显著高于嵌套采样和冷凝重要性采样，相对均方误差降低了数量级。
• 该方法在速度上远超嵌套采样和AIS，当使用一半的NUTS链数和迭代次数时，总计算成本降低了四倍。
• GBS通过建模采样过程的方差和自相关结构，提供可靠的误差估计，误差界限假设不确定性服从正态分布。
• 自适应采样策略确保证据估计的额外成本相对于后验采样较小，f_err = 0.1 和 f_eva = 0.1 作为默认阈值。
• 使用新型迭代神经变换（INT）NF实现高精度密度估计，且无需标准归一化流的高训练成本，使整体流程高效。
• 对于WBS和GIS，与GBS(L)使用相同的n_q值，表明相关方法间性能一致。