[论文解读] MultiBUGS: Massively parallel MCMC for Bayesian hierarchical models

Robert J. B. Goudie, Rebecca Turner+2 more|arXiv (Cornell University)|Apr 11, 2017

Statistical Methods and Bayesian Inference参考文献 32被引用 5

一句话总结

MultiBUGS 通过自动并行化多核系统上的 MCMC 推断，加速了贝叶斯层次模型的计算，采用两种策略：对乘积形式似然函数进行并行计算，以及对条件独立的参数进行并行采样。在包含 425,112 个观测值和 20,426 个随机效应的大规模电子健康模型上，该方法将后验推断时间从数小时缩短至 28 分钟（使用 48 核系统）。

ABSTRACT

MultiBUGS (this https URL) is a new version of the general-purpose Bayesian modelling software BUGS that implements a generic algorithm for parallelising Markov chain Monte Carlo (MCMC) algorithms to speed up posterior inference of Bayesian models. The algorithm parallelises evaluation of the product-form likelihoods formed when a parameter has many children in the directed acyclic graph (DAG) representation; and parallelises sampling of conditionally-independent sets of parameters. A heuristic algorithm is used to decide which approach to use for each parameter and to apportion computation across computational cores. This enables MultiBUGS to automatically parallelise the broad range of statistical models that can be fitted using BUGS-language software, making the dramatic speed-ups of modern multi-core computing accessible to applied statisticians, without requiring any experience of parallel programming. We demonstrate the use of MultiBUGS on simulated data designed to mimic a hierarchical e-health linked-data study of methadone prescriptions including 425,112 observations and 20,426 random effects. Posterior inference for the e-health model takes several hours in existing software, but MultiBUGS can perform inference in only 28 minutes using 48 computational cores.

研究动机与目标

• 让应用统计学家无需编写并行代码，即可利用多核计算来处理贝叶斯层次模型。
• 解决具有复杂依赖结构的大规模贝叶斯模型在 MCMC 推断中的性能瓶颈问题。
• 开发一种与 BUGS 语言和基于 DAG 的建模兼容的通用、自动并行化策略。
• 在包含数百万个观测值和数千个随机效应的真实世界高维电子健康数据上，展示显著的加速效果。

提出的方法

• MultiBUGS 使用启发式算法，动态在两种并行化策略之间选择：对乘积形式似然函数进行并行计算，以及对条件独立的参数集合进行并行采样。
• 软件通过识别在 DAG 中具有多个子节点的参数，以利用乘积形式似然函数，实现在各核心上的向量化计算。
• 它在 DAG 中检测出条件独立的参数块，并将其分配给不同的处理单元以实现并发采样。
• 该启发式算法根据计算成本和数据结构，对每个参数平衡负载并选择最优并行化策略。
• 该方法对用户完全透明，无需修改 BUGS 语言的模型规范。
• 该实现基于现有的 BUGS 基础架构，确保与标准贝叶斯建模工作流的向后兼容性。

实验结果

研究问题

• RQ1 MCMC 算法的自动、透明并行化是否能显著减少大规模贝叶斯层次模型的计算时间？
• RQ2 似然函数并行化与参数块采样相结合，在真实世界高维数据上的推断加速效果如何？
• RQ3 MultiBUGS 在无需用户级并行编程的情况下，能否在多核架构上实现性能的可扩展性？
• RQ4 该启发式算法能否在复杂的 DAG 中可靠地为每个参数选择最优并行化策略？
• RQ5 在包含数万个随机效应和数十万观测值的大规模电子健康数据上，可实现多大的性能提升？

主要发现

• MultiBUGS 将一个大规模电子健康模型的后验推断时间从数小时缩短至仅 28 分钟，使用了 48 个计算核心。
• 该模型包含 425,112 个观测值和 20,426 个随机效应，证明了其在高维数据上的可扩展性。
• 性能提升无需修改模型规范或用户级并行编码。
• 启发式算法成功选择了最优并行化策略，避免了性能下降。
• 结果证实，自动并行化能够充分发挥现代多核硬件在应用贝叶斯统计中的潜力。
• MultiBUGS 实现了对以往在合理时间内无法运行的复杂模型的高效推断。