[论文解读] Scalable Inference for Markov Processes with Intractable Likelihoods

Jamie Owen, Darren J. Wilkinson+1 more|arXiv (Cornell University)|Mar 26, 2014

Markov Chains and Monte Carlo Methods参考文献 1被引用 4

一句话总结

本文提出一种混合方法，结合近似贝叶斯计算（ABC）与粒子马尔可夫链蒙特卡洛（pMCMC），以实现在似然函数难以计算的马尔可夫过程中可扩展的精确贝叶斯推断。通过使用序列ABC生成近似后验分布，以指导并行pMCMC链的初始化与调参，该方法加速了收敛并改善了混合性能，在并行硬件上实现了更短的预烧期和更高的计算效率。

ABSTRACT

Bayesian inference for Markov processes has become increasingly relevant in recent years. Problems of this type often have intractable likelihoods and prior knowledge about model rate parameters is often poor. Markov Chain Monte Carlo (MCMC) techniques can lead to exact inference in such models but in practice can suffer performance issues including long burn-in periods and poor mixing. On the other hand approximate Bayesian computation techniques can allow rapid exploration of a large parameter space but yield only approximate posterior distributions. Here we consider the combined use of approximate Bayesian computation (ABC) and MCMC techniques for improved computational efficiency while retaining exact inference on parallel hardware.

研究动机与目标

• 为解决在似然函数难以计算且对速率参数先验知识不足的模型中，粒子MCMC（pMCMC）计算效率低下的问题。
• 通过利用序列ABC生成的近似后验样本，减少pMCMC中的长预烧期与混合不良问题。
• 通过在并行硬件上结合ABC（快速探索）与pMCMC（精确抽样）的优势，实现可扩展的精确贝叶斯推断。
• 提供一种鲁棒且自动化的pMCMC提议分布调参方法，无需预运行实验，利用ABC样本作为初始化。
• 在三个随机动力学模型上验证该方法，包括一个具有时变速率和部分观测的基因调控模型。

提出的方法

• 使用序列ABC生成近似后验分布的样本，作为pMCMC初始化的提议分布。
• 利用ABC后验样本调优pMCMC提议方差与粒子滤波器大小，消除对预运行实验的需求。
• 在并行环境中运行多个独立的pMCMC链，每条链均从ABC后验样本中的不同点初始化，以提升收敛速度与混合性能。
• 应用粒子MCMC结合bootstrap粒子滤波器，通过直接方法进行精确前向模拟，对速率参数的联合后验分布执行精确推断。
• 使用基于容忍度的距离函数 ρ(D, D*) ≤ ε 定义ABC中“接近”的模拟数据，最终的ABC样本用于初始化pMCMC链。
• 应用稀释与收敛性诊断，确保从精确后验分布中获得可靠的后验抽样。

实验结果

研究问题

• RQ1 将ABC与pMCMC结合是否能提升在似然函数难以计算的马尔可夫过程中贝叶斯推断的计算效率？
• RQ2 使用ABC后验作为pMCMC初始化，是否能减少高维参数空间中的预烧期并改善混合性能？
• RQ3 从ABC样本初始化的并行pMCMC链是否能实现更快收敛与更少调参努力的精确推断？
• RQ4 在真实世界随机动力学模型中，该混合方法与独立的ABC或pMCMC相比，在后验准确性与计算成本方面表现如何？
• RQ5 该方法是否能有效应用于具有弱先验、部分观测与时变速率参数的模型？

主要发现

• 该混合ABC-pMCMC方法通过利用ABC样本将pMCMC链初始化在接近平稳分布的位置，显著缩短了预烧期。
• 从ABC后验中独立初始化的并行pMCMC链均收敛至同一目标分布，证实了从精确后验中可靠抽样的能力。
• 该方法得到的后验估计与Golightly等人（2014）报告的结果一致，验证了推断的准确性和正确性。
• 最终的ABC样本与pMCMC后验存在显著差异，表明pMCMC能对ABC近似进行精炼，实现精确推断。
• 该方法在具有时变危险函数与未观测物种的基因调控模型中实现了精确推断，而标准pMCMC因初始化不佳而难以应对。
• pMCMC的调参参数（提议方差与粒子数量）通过ABC样本有效设定，消除了对昂贵预运行实验的需求。