[论文解读] Top-down particle filtering for Bayesian decision trees

Balaji Lakshminarayanan, Daniel M. Roy+1 more|arXiv (Cornell University)|Mar 3, 2013

Bayesian Modeling and Causal Inference参考文献 27被引用 17

一句话总结

本文提出了一种自顶向下的顺序蒙特卡洛（SMC）算法用于贝叶斯决策树，其模仿了ID3和C4.5等经典贪心树学习器的机制，通过重采样粒子滤波近似后验分布。该方法在预测准确性上与最先进的MCMC方法相当，同时速度提升超过十倍，实现了更优的计算-精度权衡。

ABSTRACT

Decision tree learning is a popular approach for classification and regression in machine learning and statistics, and Bayesian formulations---which introduce a prior distribution over decision trees, and formulate learning as posterior inference given data---have been shown to produce competitive performance. Unlike classic decision tree learning algorithms like ID3, C4.5 and CART, which work in a top-down manner, existing Bayesian algorithms produce an approximation to the posterior distribution by evolving a complete tree (or collection thereof) iteratively via local Monte Carlo modifications to the structure of the tree, e.g., using Markov chain Monte Carlo (MCMC). We present a sequential Monte Carlo (SMC) algorithm that instead works in a top-down manner, mimicking the behavior and speed of classic algorithms. We demonstrate empirically that our approach delivers accuracy comparable to the most popular MCMC method, but operates more than an order of magnitude faster, and thus represents a better computation-accuracy tradeoff.

研究动机与目标

• 开发一种贝叶斯推断方法用于决策树，以自顶向下的贪心方式运行，类似于经典算法（如ID3、C4.5），而非通过迭代MCMC更新。
• 在不牺牲预测准确性的前提下，提升贝叶斯决策树学习的计算效率。
• 利用支持重采样和基于粒子的树生长的顺序蒙特卡洛框架，实现在贝叶斯决策树中的后验近似。
• 评估自顶向下粒子滤波是否能在显著更快的速度下实现与基于MCMC的贝叶斯树学习相当的性能。

提出的方法

• 该方法使用顺序蒙特卡洛（SMC）框架，以自顶向下、贪心的方式对一组决策树进行采样，从根节点开始，逐步扩展节点。
• 在每一步中，基于局部似然和数据划分的提议分布向前传播粒子（树），并通过重采样聚焦于后验概率较高的树。
• 该算法采用依赖于每个区块中数据范围的决策树先验，遵循Chipman等人（1998）的方法，以正则化树的复杂度。
• 评估了两种提议策略：先验提议（简单、快速）与一步最优提议（更准确但更慢），并分析了性能权衡。
• 树的生长由每个节点的条件似然引导，通过重采样剔除低似然粒子，集中于更优拟合的结构。
• 通过先验和似然自然限制树的深度，避免显式剪枝。

实验结果

研究问题

• RQ1 自顶向下、基于粒子的SMC算法能否实现与基于MCMC的贝叶斯决策树推断相当的预测准确性？
• RQ2 所提出的SMC方法是否在保持后验近似质量的前提下，相较于现有MCMC方法具有显著的速度优势？
• RQ3 不同的提议分布（先验 vs. 最优）如何影响SMC算法在贝叶斯决策树学习中的效率与准确性？
• RQ4 能否通过利用决策树的贪心、分层结构，使SMC框架比MCMC更高效？

主要发现

• 所提出的SMC算法在测试准确率和对数预测概率等指标上，与最流行的MCMC方法在预测准确性上相当。
• SMC方法的运行速度比MCMC基线快一个数量级以上，实现了更优的计算-精度权衡。
• 一步最优提议虽能提升每粒子的收敛速度，但总体计算成本过高，尤其在无关特征较少的数据集中表现更差。
• 同时扩展多个节点会降低性能，表明顺序扩展更为有效。
• 更复杂的节点选择策略未提升性能，表明简单的启发式方法已足以实现有效的粒子传播。
• 即使在CART算法经过调优并采用拉普拉斯校正平滑后，贝叶斯SMC方法在对数预测概率上仍表现更优。