[论文解读] Split Sampling: Expectations, Normalisation and Rare Events

John R. Birge, Changgee Chang+1 more|arXiv (Cornell University)|Dec 3, 2012

Bayesian Methods and Mixture Models参考文献 39被引用 5

一句话总结

本文提出了一种基于MCMC的新方法——分割采样（split sampling），通过引入辅助变量和自适应加权，将目标期望分解为一系列更易估计的归一化常数，从而高效估计高维期望和罕见事件概率。该方法在多峰或高维场景下，通过Rao-Blackwell化估计和自适应MCMC调优加权函数，相较于交叉熵方法和嵌套采样方法展现出更高的效率。

ABSTRACT

In this paper we develop a methodology that we call split sampling methods to estimate high dimensional expectations and rare event probabilities. Split sampling uses an auxiliary variable MCMC simulation and expresses the expectation of interest as an integrated set of rare event probabilities. We derive our estimator from a Rao-Blackwellised estimate of a marginal auxiliary variable distribution. We illustrate our method with two applications. First, we compute a shortest network path rare event probability and compare our method to estimation to a cross entropy approach. Then, we compute a normalisation constant of a high dimensional mixture of Gaussians and compare our estimate to one based on nested sampling. We discuss the relationship between our method and other alternatives such as the product of conditional probability estimator and importance sampling. The methods developed here are available in the R package: SplitSampling.

研究动机与目标

• 开发一种更高效的方法，用于在复杂高维模型中估计高维期望和罕见事件概率。
• 解决现有方法（如交叉熵和嵌套采样）在多峰或混合性差场景下的局限性。
• 提出一种灵活且自适应的框架，利用辅助变量和加权MCMC提升蒙特卡罗估计的精度。
• 通过统一的辅助变量公式，建立分割采样与乘积估计器、嵌套采样及切片采样之间的理论联系。
• 通过最短路径问题和高斯混合模型归一化等实际应用，展示该方法的实用价值。

提出的方法

• 该方法定义了联合分割采样分布 π_SS(x, m)，引入辅助变量 m，并通过加权函数 ω(m) 倾斜条件分布。
• 利用一个关键恒等式，将目标期望 Z 表示为罕见事件概率 P(L(x) > m) 的积分，从而将完整期望分解为这些概率的加权平均。
• 通过MCMC算法从联合分布 π_SS(x, m) 中抽样，利用 m 的边缘分布估计归一化常数，再通过积分得到最终估计量。
• 加权函数 ω(m) 从MCMC输出中自适应学习，以最小化蒙特卡罗方差，从而实现对状态空间的高效探索。
• 该方法与切片采样和嵌套采样相关，但区别在于允许对 (x, m) 空间进行全面探索，并通过MCMC自适应优化 ω(m)。
• 该方法支持离散和连续的分裂函数 L_m(x)，默认设置与乘积估计器和嵌套采样的抽样行为一致。

实验结果

研究问题

• RQ1 能否构建一个统一框架，通过将问题分解为可管理的组成部分，提升高维期望和罕见事件估计的效率？
• RQ2 加权函数 ω(m) 的自适应选择如何影响分割采样中MCMC估计量的方差与收敛性？
• RQ3 在何种场景下，分割采样优于交叉熵和嵌套采样等成熟方法，特别是在多峰或高维似然函数中？
• RQ4 在采样策略与估计效率方面，分割采样与乘积估计器、切片采样和嵌套采样之间存在何种关系？
• RQ5 分割采样能否有效应用于最短路径概率和稀疏-密集混合模型归一化等实际问题？

主要发现

• 在最短路径问题中，分割采样在均方根误差（RMS）上优于原始蒙特卡罗和交叉熵方法，展现出更高的估计精度。
• 在中心化高斯混合模型中，分割采样与嵌套采样表现相当，log(Z) 估计的RMS为0.207。
• 在非中心化、多峰高斯情形下，分割采样显著优于标准嵌套采样（RMS：0.591 vs. 2.620）和扩散嵌套采样（RMS：0.591 vs. 0.763），表现出对多峰性的更强鲁棒性。
• 分割采样中的自适应MCMC算法使 Ω_t 和 Ž_t 快速收敛，轨迹图显示对似然函数中两个模式均实现了有效探索。
• 该方法在不同参数设置下表现稳健，自适应加权函数在无需目标分布先验知识的情况下提升了估计效率。
• 分割采样估计量被证明是乘积估计器和嵌套采样的广义形式，其理论基础均源于辅助变量MCMC与Rao-Blackwell化。