[论文解读] Stochastic Tree Ensembles for Regularized Nonlinear Regression

Jingyu He, P. Richard Hahn|arXiv (Cornell University)|Feb 9, 2020

Gaussian Processes and Bayesian Inference参考文献 26被引用 12

一句话总结

本文提出XBART，一种基于随机树集成的贝叶斯加性回归树（BART）加速方法，通过结合BART的正则化与先验分布，以及一种快速的递归树生长算法，显著提升了计算效率。XBART在保持与BART相当的预测精度和函数估计能力的同时，相比BART、XGBoost和神经网络具有显著更快的运行速度，并在用于初始化BART的MCMC时提升了收敛性能。

ABSTRACT

This article develops a novel stochastic tree ensemble method for nonlinear regression, referred to as accelerated Bayesian additive regression trees, or XBART. By combining regularization and stochastic search strategies from Bayesian modeling with computationally efficient techniques from recursive partitioning algorithms, XBART attains state-of-the-art performance at prediction and function estimation. Simulation studies demonstrate that XBART provides accurate point-wise estimates of the mean function and does so faster than popular alternatives, such as BART, XGBoost, and neural networks (using Keras) on a variety of test functions. Additionally, it is demonstrated that using XBART to initialize the standard BART MCMC algorithm considerably improves credible interval coverage and reduces total run-time. Finally, two basic theoretical results are established: the single tree version of the model is asymptotically consistent and the Markov chain produced by the ensemble version of the algorithm has a unique stationary distribution.

研究动机与目标

• 开发一种比BART更快的替代方法，同时保留其正则化与贝叶斯不确定性量化能力。
• 在不牺牲预测精度的前提下，提升大规模非线性回归的计算效率。
• 创建一种在不同信噪比环境与数据规模下均表现良好的方法。
• 建立算法的理论性质，如一致性与唯一的平稳分布。
• 为真实世界表格型数据提供一种可扩展、高性能的XGBoost与BART替代方案。

提出的方法

• XBART采用从根部开始的随机搜索策略构建树，从后验分布中采样分裂点与叶节点参数。
• 其在树结构与叶节点参数上应用BART的先验分布，包括一个用于正则化的全局收缩参数τ。
• 通过迭代采样分裂点并使用共轭线性回归更新叶节点参数，实现随机树生长。
• 使用Metropolis-Hastings步骤提出树结构，接受概率基于后验似然比与先验比。
• 通过组合多棵随机生长的树形成集成模型，每棵树均带有鼓励收缩与模型平均的先验。
• 该方法利用共轭先验，高效计算叶节点参数的后验分布，从而实现快速计算。

Figure 2 : RMSE ratios of XBART to RF against XGBCV to RF across a variety of data generating processes.

实验结果

研究问题

• RQ1 能否通过一种随机的、递归的树生长算法，在显著提升速度的同时达到与BART相当的精度？
• RQ2 使用XBART初始化标准BART MCMC是否能改善收敛性与可信区间覆盖？
• RQ3 XBART所诱导的马尔可夫链是否具有遍历性，并拥有唯一的平稳分布？
• RQ4 在不同信噪比与测试函数下，XBART相较于BART、XGBoost与神经网络的表现如何？
• RQ5 该随机树集成能否在样本量增加时保持函数估计的一致性？

主要发现

• XBART在广泛的测试函数上实现了最先进的预测精度与函数估计性能，在模拟研究中优于或匹配BART、XGBoost与神经网络。
• XBART显著快于BART，在BART运行不可行的大规模数据集上，运行时间最高可减少10倍。
• 使用XBART初始化BART MCMC可改善可信区间覆盖并减少总运行时间，优于标准初始化方式。
• 单棵树版本的XBART在正则条件下具有渐近一致性，支持其理论合理性。
• XBART集成版本所生成的马尔可夫链具有唯一的平稳分布，验证了其在MCMC推断中的适用性。
• 采样先验方差τ可提升高噪声与小样本规模场景下的性能，增强鲁棒性。

Figure 3 : Boxplot of the RRMSE for each method across the total 120 training / testing splits.