[论文解读] Particle Gibbs for Bayesian Additive Regression Trees

Balaji Lakshminarayanan, Daniel M. Roy+1 more|arXiv (Cornell University)|Feb 16, 2015

Gaussian Processes and Bayesian Inference参考文献 14被引用 7

一句话总结

本文提出 PG-BART，一种用于贝叶斯加性回归树（BART）的新颖粒子吉布斯采样器，通过提出完整树而非局部移动来提升后验探索效率。通过利用自顶向下的粒子滤波与序列蒙特卡洛方法，PG-BART 实现了显著更优的混合效果与效率——尤其在高维数据或深层树设置下表现更优，其有效样本量（ESS）与每秒 ESS 均优于标准 MCMC 采样器。

ABSTRACT

Additive regression trees are flexible non-parametric models and popular off-the-shelf tools for real-world non-linear regression. In application domains, such as bioinformatics, where there is also demand for probabilistic predictions with measures of uncertainty, the Bayesian additive regression trees (BART) model, introduced by Chipman et al. (2010), is increasingly popular. As data sets have grown in size, however, the standard Metropolis-Hastings algorithms used to perform inference in BART are proving inadequate. In particular, these Markov chains make local changes to the trees and suffer from slow mixing when the data are high-dimensional or the best fitting trees are more than a few layers deep. We present a novel sampler for BART based on the Particle Gibbs (PG) algorithm (Andrieu et al., 2010) and a top-down particle filtering algorithm for Bayesian decision trees (Lakshminarayanan et al., 2013). Rather than making local changes to individual trees, the PG sampler proposes a complete tree to fit the residual. Experiments show that the PG sampler outperforms existing samplers in many settings.

研究动机与目标

• 解决标准 Metropolis–Hastings 采样器在高维数据或深层树设置下 BART 后验混合效果差的问题。
• 克服 BART 中局部 MCMC 移动的局限性，后者导致收敛缓慢且后验近似不准确。
• 开发一种可扩展、高效的 BART 采样策略，确保在多种超参数设置下均保持高质量的后验探索。
• 即使在大规模或复杂数据场景下，也能实现可靠的概率推理，包括可信区间与变量重要性分析。
• 将基于粒子的推理与贝叶斯回代框架结合，提升采样效率，且无需在接受率中显式计算树先验。

提出的方法

• 将粒子吉布斯（PG）框架适配至 BART，以基于 SMC 的完整树提议替代局部树更新。
• 采用自顶向下的序列蒙特卡洛（SMC）算法，近似给定残差下树的条件分布。
• 利用粒子滤波从后验中采样完整树，其中粒子代表候选树结构。
• 将 PG 采样器集成至贝叶斯回代 MCMC 框架中，每次仅更新一棵树，同时基于其他树的当前拟合结果进行条件化。
• 利用树先验在 MH 接受率中被抵消的特性，即使先验不可计算，也能实现高效采样。
• 通过避免昂贵的先验密度计算，仅依赖于先验抽样（通常比密度评估更简单），确保计算效率。

实验结果

研究问题

• RQ1 基于粒子的 MCMC 采样器是否能相比局部移动 Metropolis–Hastings 算法，改善 BART 的混合效果？
• RQ2 与局部修改相比，提出完整树是否能加快高维数据下的收敛速度并提升后验探索质量？
• RQ3 在真实树较深或数据维度较高的场景中，PG-BART 的表现如何？这些场景下局部采样器往往表现不佳。
• RQ4 PG 框架能否与 SMC 有效结合，用于贝叶斯决策树，从而实现可扩展且准确的 BART 推断方法？
• RQ5 PG-BART 采样器在提升后验采样效率与可信区间质量的同时，是否仍能保持良好的预测性能？

主要发现

• 在 Hypercube-D 数据集上，当深度 D=4 时，PG-BART 的有效样本量（ESS）达到 686.79，而 CGM 仅 14.01，GrowPrune 仅 11.76，显示出显著更优的混合效果。
• 在深度 D=7 时，PG-BART 的 ESS 达到 422.96，远超 CGM（1.16）与 GrowPrune（1.78），表明在深层树设置下表现强劲。
• 在 CTslices 数据集（384 个维度）上，PG-BART 的 ESS/s 达到 2.115×10⁻³，优于 CGM（0.080×10⁻³）与 GrowPrune（0.615×10⁻³），表明在高维数据中效率更高。
• 在 YearPredictionMSD 数据集（90 个维度）上，PG-BART 的 ESS 为 76.766，ESS/s 为 14.070×10⁻³，显著优于 CGM（29.215 ESS，2.018×10⁻³ ESS/s）与 GrowPrune（21.656 ESS，7.029×10⁻³ ESS/s）。
• 尽管各采样器的预测均方误差相近，PG-BART 因混合效果更优，提供了更准确的后验推断，尤其在高维与深层树场景中表现突出。
• PG-BART 在不同维度的数据集上均保持一致的性能表现，展现出在局部采样器无法有效混合的场景下仍具备鲁棒性与可扩展性。