[论文解读] Parallel Bayesian Additive Regression Trees

Matthew T. Pratola, Hugh Chipman+4 more|arXiv (Cornell University)|Sep 7, 2013

Gaussian Processes and Bayesian Inference参考文献 23被引用 4

一句话总结

本文提出了一种基于消息传递接口（MPI）的单程序多数据（SPMD）并行计算方式，实现了贝叶斯加性回归树（BART）的并行化实现。通过将树的构建和MCMC采样分布在多个核心上，该方法实现了接近线性的可扩展性，使BART能够处理大规模数据集——最多可达100,000个观测值或更多——从而克服了原始基于R语言的BayesTree包在计算上的局限性。

ABSTRACT

Bayesian Additive Regression Trees (BART) is a Bayesian approach to flexible non-linear regression which has been shown to be competitive with the best modern predictive methods such as those based on bagging and boosting. BART offers some advantages. For example, the stochastic search Markov Chain Monte Carlo (MCMC) algorithm can provide a more complete search of the model space and variation across MCMC draws can capture the level of uncertainty in the usual Bayesian way. The BART prior is robust in that reasonable results are typically obtained with a default prior specification. However, the publicly available implementation of the BART algorithm in the R package BayesTree is not fast enough to be considered interactive with over a thousand observations, and is unlikely to even run with 50,000 to 100,000 observations. In this paper we show how the BART algorithm may be modified and then computed using single program, multiple data (SPMD) parallel computation implemented using the Message Passing Interface (MPI) library. The approach scales nearly linearly in the number of processor cores, enabling the practitioner to perform statistical inference on massive datasets. Our approach can also handle datasets too massive to fit on any single data repository.

研究动机与目标

• 为解决原始BayesTree R包在处理超过1,000个观测值的数据集时计算效率低下的问题，该包在50,000至100,000个观测值的数据集上已无法运行。
• 通过利用高性能计算，实现在大规模数据集上对BART进行交互式统计推断。
• 开发一种可扩展的、分布式的BART版本，同时保持该方法的贝叶斯不确定性量化和稳健的默认先验分布。
• 通过MPI实现的分布式内存并行计算，支持超出单台机器内存容量的数据集。

提出的方法

• 采用消息传递接口（MPI）将BART算法适配为SPMD并行化，以在多个处理器核心之间分发计算负载。
• 将数据集划分到多个计算节点或核心上，每个节点独立构建和更新BART集成中的一小部分树。
• 修改随机搜索MCMC算法，使各分区中树结构和节点参数的更新可并行执行，同时保持后验一致性。
• 使用数据分片和进程间通信，在MCMC迭代过程中同步各节点间的充分统计量和后验样本。
• 实现负载均衡和高效的I/O处理机制，以管理无法完全加载到主内存中的大型数据集。
• 通过一致的先验设定和MCMC收敛性保障，确保并行化算法保持原始BART方法的稳健性与不确定性量化能力。

实验结果

研究问题

• RQ1 能否通过并行计算将BART扩展到大规模数据集——特别是50,000至100,000个观测值？
• RQ2 该并行实现是否保持了原始BART方法的贝叶斯不确定性量化能力和稳健性？
• RQ3 随着处理器核心数量的增加，并行BART算法的性能扩展行为如何？
• RQ4 该并行BART框架能否处理超出单台机器内存容量的数据集？

主要发现

• 并行BART实现相对于处理器核心数量表现出接近线性的可扩展性，显著提升了大规模数据集上的运行效率。
• 该方法成功处理了最多达100,000个观测值的数据集，而这些数据集对原始BayesTree R包而言是不可行的。
• 通过使用MPI在多个节点间分发数据，该算法支持超出单台机器内存容量的数据集。
• 并行实现保持了原始BART通过MCMC抽样中变化性捕捉不确定性的能力，以及稳健的默认先验分布。