[论文解读] Unbiased estimation of log normalizing constants with applications to Bayesian cross-validation

Maxime Rischard, Pierre Jacob+1 more|arXiv (Cornell University)|Oct 2, 2018

Markov Chains and Monte Carlo Methods参考文献 8被引用 14

一句话总结

本文提出了一种新颖的无偏估计器，用于贝叶斯推断中归一化常数的对数估计，结合无偏马尔可夫链蒙特卡洛（MCMC）与路径抽样（热力学积分）。该方法实现了 log Z 的一致且渐近正态的估计，并可直接提供对数评分规则下贝叶斯交叉验证的无偏估计器，通过独立重复可获得置信区间。

ABSTRACT

Posterior distributions often feature intractable normalizing constants, called marginal likelihoods or evidence, that are useful for model comparison via Bayes factors. This has motivated a number of methods for estimating ratios of normalizing constants in statistics. In computational physics the logarithm of these ratios correspond to free energy differences. Combining unbiased Markov chain Monte Carlo estimators with path sampling, also called thermodynamic integration, we propose new unbiased estimators of the logarithm of ratios of normalizing constants. As a by-product, we propose unbiased estimators of the Bayesian cross-validation criterion. The proposed estimators are consistent, asymptotically Normal and can easily benefit from parallel processing devices. Various examples are considered for illustration.

研究动机与目标

• 解决贝叶斯模型比较中难以计算的归一化常数（边缘似然）估计问题。
• 克服现有估计器仅对 log Z 渐近无偏而非精确无偏的局限性。
• 开发一种方法，直接在对数评分规则下对贝叶斯交叉验证准则进行无偏估计。
• 通过独立重复实现一致且渐近正态的估计，并获得有效的置信区间。
• 提供一种结合无偏MCMC与路径抽样的框架，以提升统计效率并提供理论保证。

提出的方法

• 将路径抽样（热力学积分）与无偏MCMC估计器结合，构建 log Z 的无偏估计器。
• 利用路径抽样恒等式：r01 = −∫₀¹ Eλ[∇λUλ(X)] dλ，其中 Eλ 表示在 πλ 下的期望。
• 在 [0,1] 上引入提议密度 q(λ) 以重新加权路径积分，实现蒙特卡洛近似。
• 采用无偏MCMC采样器（如基于耦合的方法）为每个 λ 生成 Eλ[∇λUλ(X)] 的无偏估计。
• 通过将无偏内层估计与适当加权相结合，构建路径积分的无偏估计器作为最终估计量。
• 将相同框架应用于对数评分规则下贝叶斯交叉验证目标的估计，确保直接无偏性。

实验结果

研究问题

• RQ1 我们能否构建一个对 log Z 精确无偏的估计器，而非仅渐近无偏？
• RQ2 如何将路径抽样与无偏MCMC结合，以实现对对数归一化常数的无偏估计？
• RQ3 所提出的方法能否对对数评分规则下的贝叶斯交叉验证产生无偏估计器？
• RQ4 与现有方法相比，该估计器的统计效率与收敛行为如何？
• RQ5 路径选择（如几何路径与其他路径）及提议密度 q(λ) 的选择如何影响估计器性能？

主要发现

• 所提出的估计器对 log Z 精确无偏，其期望等于 log Z，而现有基于MCMC的估计器仅渐近无偏。
• 该方法可产生对数评分规则下贝叶斯交叉验证准则的无偏估计器，支持通过独立重复实现一致估计。
• 估计器渐近服从正态分布，可通过独立同分布重复的中心极限定理构建精确置信区间。
• 在 stack loss 数据集上的数值实验表明，基于 10,000 次独立重复的交叉验证目标 95% 置信区间为 [2.78, 2.82]。
• 交叉验证估计器的方差在不同被剔除的观测中有所差异，表明对数据划分方式敏感，这与留一法交叉验证的已知挑战一致。
• 该方法的性能对路径选择（如几何路径）和提议密度 q(λ) 敏感，不同路径设计下的效率可相差数个数量级。