[论文解读] On sequential Monte Carlo, partial rejection control and approximate Bayesian computation

Gareth W. Peters, Yanan Fan+1 more|ArXiv.org|Aug 26, 2008

Markov Chains and Monte Carlo Methods参考文献 28被引用 15

一句话总结

本文提出了一种新型的顺序蒙特卡洛（SMC）采样器，将部分拒绝控制（PRC）整合到突变核中，以降低增量重要性权重的方差，在似然自由近似贝叶斯计算（ABC）设置下显著提升性能。该方法增强了粒子多样性并减少了退化现象，在模拟和真实世界中的索赔准备金应用中均优于现有ABC采样器。

ABSTRACT

We present a sequential Monte Carlo sampler variant of the partial rejection control algorithm, and show that this variant can be considered as a sequential Monte Carlo sampler with a modified mutation kernel. We prove that the new sampler can reduce the variance of the incremental importance weights when compared with standard sequential Monte Carlo samplers. We provide a study of theoretical properties of the new algorithm, and make connections with some existing algorithms. Finally, the sampler is adapted for application under the challenging "likelihood free," approximate Bayesian computation modelling framework, where we demonstrate superior performance over existing likelihood-free samplers.

研究动机与目标

• 为解决顺序蒙特卡洛（SMC）采样器中粒子退化这一贝叶斯计算中的主要挑战。
• 将部分拒绝控制（PRC）整合到SMC突变核中，以改善重要性权重方差和粒子多样性。
• 将SMC-PRC框架扩展至似然自由近似贝叶斯计算（ABC）设置，其中标准SMC方法因高拒绝率而表现不佳。
• 为新算法的方差减少和收敛性特性提供理论依据。
• 在合成数据和真实世界随机索赔准备金问题中，展示其相对于现有ABC采样器的优越经验性能。

提出的方法

• 提出一种改进的SMC采样器，其突变核具备PRC功能，若其增量重要性权重低于阈值 $ c_t $，则拒绝粒子。
• 使用逆向核 $ L_k $ 定义路径分布 $ \widetilde{\pi}_t $，从而在联合路径空间上实现标准SMC递推。
• 采用渐近方差的递归表达式，并为新算法下的估计器建立中心极限定理。
• 通过使用基于马氏距离的容忍度度量 $ \rho(T(\mathcal{D}), T(\mathcal{D}')) $ 和摘要统计量的均匀加权密度，将采样器适配于ABC。
• 实施一个确定性的 $ \epsilon $-调度 $ \{\epsilon_t\} = \{\infty, 10, \dots, 0.00001\} $，逐步收紧ABC容忍度。
• 采用伽马分布的混合形式作为突变核 $ M_t(x_{t-1}, x_t) $，其均值满足 $ a(x_{t-1}^{(i)})b(x_{t-1}^{(i)}) = x_{t-1}^{(i)} $ 且方差较高，以促进探索。

实验结果

研究问题

• RQ1 能否有效将部分拒绝控制嵌入SMC突变核中，以降低增量重要性权重的方差？
• RQ2 SMC采样器与PRC相比标准SMC和现有ABC采样器，在有效样本量和估计精度方面表现如何？
• RQ3 可为嵌入PRC的SMC采样器建立哪些理论保证（如中心极限定理、方差界）？
• RQ4 当粒子权重高度可变时，PRC-ABC SMC采样器能否在似然自由推断中实现更优性能？
• RQ5 PRC阈值 $ c_t $ 和 $ \epsilon $-调度的选择如何影响收敛性和计算效率？

主要发现

• 与标准SMC相比，SMC采样器结合PRC可降低增量重要性权重的方差，理论依据来自递归渐近方差表达式。
• 该算法实现了中心极限定理，并确保PRC拒绝尝试次数为几乎必然有限，支持其理论稳健性。
• 在ABC框架中，PRC-ABC SMC采样器优于现有似然自由采样器，表现为有效样本量提升和参数估计更优。
• 该方法成功恢复了随机索赔准备金的后验分布，随着 $ \epsilon_t $ 减小，$ f_0 $ 和 $ \sigma_0 $ 的边际密度变得更加精确。
• 后验预测分布（包括未来索赔的可信区间）现可获得，支持在模型不确定性下的完整贝叶斯推断。
• 通过使用灵活的加权密度和动态阈值（如 $ c_t $ 自适应于有效样本量），实现了更好的计算控制和效率。