[论文解读] Sequential Monte Carlo methods for graphical models

Christian A. Naesseth, Fredrik Lindsten+1 more|arXiv (Cornell University)|Feb 3, 2014

Bayesian Methods and Mixture Models参考文献 29被引用 4

一句话总结

本文提出一种用于一般概率图模型（PGMs）近似推理的顺序蒙特卡洛（SMC）算法，通过在递增的概率空间上对模型进行顺序分解，定义一系列辅助分布。该方法可提供分区函数的无偏估计，并支持粒子马尔可夫链蒙特卡洛推理，适用于离散与连续变量及任意图结构。

ABSTRACT

Inference in probabilistic graphical models (PGMs) does typically not allow for analytical solutions, confining us to various approximative methods. We propose a sequential Monte Carlo (SMC) algorithm for inference in general PGMs. Via a sequential decomposition of the PGM we find a sequence of auxiliary distributions defined on a monotonically increasing sequence of probability spaces. By targeting these auxiliary distributions using purpose built SMC samplers we are able to approximate the full joint distribution defined by the graphical model. Our SMC sampler also provides an unbiased estimate of the partition function (normalization constant) and we show how it can be used within a particle Markov chain Monte Carlo framework. This allows for better approximations of the marginals and for unknown parameters to be estimated. The proposed inference algorithms can deal with an arbitrary graph structure and the domain of the random variables in the graph can be discrete or continuous.

研究动机与目标

• 开发一种适用于缺乏解析解的通用概率图模型的推理方法。
• 实现分区函数的无偏估计，这对于模型比较与学习至关重要。
• 支持具有任意图结构及混合离散-连续变量的模型推理。
• 与粒子马尔可夫链蒙特卡洛方法结合，以提升边缘近似与参数估计效果。

提出的方法

• 该方法通过将 PGM 顺序分解，定义在单调递增的概率空间上的辅助分布序列。
• 采用专门设计的 SMC 采样器，以目标为这些辅助分布，逐步逼近完整的联合分布。
• 算法维护粒子权重，从而实现对归一化常数（分区函数）的无偏估计。
• 将分区函数估计整合进粒子马尔可夫链蒙特卡洛框架，以提升后验与边缘分布的近似精度。
• 该方法可处理离散与连续随机变量，适用于任意 PGM 结构。

实验结果

研究问题

• RQ1 SMC 方法能否被有效适配于具有任意结构的一般概率图模型？
• RQ2 能否在 SMC 框架内高效计算 PGMs 的分区函数无偏估计？
• RQ3 如何将 SMC 推理与粒子 MCMC 结合，以提升边缘与参数估计的精度？
• RQ4 所提出方法在处理 PGM 中混合离散-连续变量域方面的能力有多大？

主要发现

• 所提出的 SMC 算法可提供分区函数的无偏估计，从而支持严格的模型比较与学习。
• 该方法支持具有任意图结构的 PGM 推理，包括复杂且异构的依赖关系。
• 与粒子 MCMC 的集成显著提升了后验边缘分布的准确性，并促进了未知模型参数的估计。
• 该方法适用于离散与连续随机变量，确保了广泛的模型兼容性。