[论文解读] Towards Automatic Model Comparison: An Adaptive Sequential Monte Carlo Approach

Yan Zhou, Adam M. Johansen+1 more|arXiv (Cornell University)|Mar 13, 2013

Statistical Methods and Bayesian Inference参考文献 49被引用 26

一句话总结

本文提出一种自适应序蒙特卡洛（SMC）框架，用于自动贝叶斯模型比较，通过自适应分布放置与提议调优的SMC方法估计模型证据和后验模型概率。该方法在极少人工调优下实现最先进性能，计算效率和鲁棒性均优于RJMCMC和PMCMC，适用于多种模型。

ABSTRACT

Model comparison for the purposes of selection, averaging and validation is a problem found throughout statistics. Within the Bayesian paradigm, these problems all require the calculation of the posterior probabilities of models within a particular class. Substantial progress has been made in recent years, but difficulties remain in the implementation of existing schemes. This paper presents adaptive sequential Monte Carlo (\smc) sampling strategies to characterise the posterior distribution of a collection of models, as well as the parameters of those models. Both a simple product estimator and a combination of \smc and a path sampling estimator are considered and existing theoretical results are extended to include the path sampling variant. A novel approach to the automatic specification of distributions within \smc algorithms is presented and shown to outperform the state of the art in this area. The performance of the proposed strategies is demonstrated via an extensive empirical study. Comparisons with state of the art algorithms show that the proposed algorithms are always competitive, and often substantially superior to alternative techniques, at equal computational cost and considerably less application-specific implementation effort.

研究动机与目标

• 解决自动、稳健且高效的贝叶斯模型比较问题，同时最大限度减少用户调优。
• 将SMC方法扩展至超越当前最先进MCMC技术（如RJMCMC和PMCMC）的模型证据估计。
• 在SMC中开发自适应策略，用于中间分布的放置与提议方差调优，以提升收敛性并降低方差。
• 仅使用局部混合的MCMC提议和极少应用特定设计，实现近乎自动化的实现。
• 在真实世界问题上展示可扩展性与性能，包括GPU并行化实现。

提出的方法

• 采用序蒙特卡洛（SMC）方法，通过一系列针对模型后验的目标人工分布，利用重要性采样与重采样估计归一化常数。
• 引入基于恒定CESS* = 0.999的自适应中间分布调度策略，以平衡计算成本与精度。
• 提出自适应MCMC核调优方法，用于提议分布，以改善混合性并降低证据估计的方差。
• 将SMC与路径抽样（热力学积分）结合，生成低方差、偏差校正的模型证据估计。
• 使用乘积估计器与路径抽样估计器变体，稳健计算后验模型概率。
• 支持跨模型与粒子的自然并行化，适用于GPU与多核架构。

实验结果

研究问题

• RQ1 自适应SMC能否提供一种稳健、近乎自动的贝叶斯模型比较方法，而无需大量人工调优？
• RQ2 中间分布的自适应放置与提议调优如何影响模型证据估计的准确性和方差？
• RQ3 所提出的基于SMC的方法在计算成本、方差与收敛性方面与RJMCMC和PMCMC相比表现如何？
• RQ4 在GPU等并行计算硬件上，SMC-based模型比较的可扩展性达到何种程度？
• RQ5 SMC中引入的路径抽样能否在保持计算效率的同时降低证据估计的偏差？

主要发现

• 所提出的自适应SMC2算法在方差与准确性方面始终优于或等同于RJMCMC与PMCMC，即使在极少调优下亦然。
• 自适应分布放置与提议调优显著提升收敛性并降低方差，尤其在非线性ODE等复杂模型中表现突出。
• 路径抽样变体（SMC2-PS）展现出低偏差，并通过中心极限定理获得强有力的理论支持。
• 该方法在相同PET数据上的结果与先前研究（Zhou et al., 2013）相当，但实现工作量显著减少，计算成本相近。
• SMC2支持高效、可扩展的并行化，适用于GPU等高性能计算环境。
• 路径抽样中偏差降低技术的开销可忽略不计，因此应始终使用以提升估计精度。