[论文解读] On Theory for BART

Veronika Ročková, Enakshi Saha|arXiv (Cornell University)|Oct 1, 2018

Bayesian Methods and Mixture Models参考文献 35被引用 4

一句话总结

本文通过分析异质Galton-Watson分支过程中的精确先验，建立了贝叶斯加性回归树（BART）方法的理论最优性。它提出了一种改进的先验，实现了最优后验集中率，证明在正则性条件下BART可达到后验收缩的极小极大率。

ABSTRACT

Ensemble learning is a statistical paradigm built on the premise that many weak learners can perform exceptionally well when deployed collectively. The BART method of Chipman et al. (2010) is a prominent example of Bayesian ensemble learning, where each learner is a tree. Due to its impressive performance, BART has received a lot of attention from practitioners. Despite its wide popularity, however, theoretical studies of BART have begun emerging only very recently. Laying the foundations for the theoretical analysis of Bayesian forests, Rockova and van der Pas (2017) showed optimal posterior concentration under conditionally uniform tree priors. These priors deviate from the actual priors implemented in BART. Here, we study the exact BART prior and propose a simple modification so that it also enjoys optimality properties. To this end, we dive into branching process theory. We obtain tail bounds for the distribution of total progeny under heterogeneous Galton-Watson (GW) processes exploiting their connection to random walks. We conclude with a result stating the optimal rate of posterior convergence for BART.

研究动机与目标

• 为解决现有理论中对精确BART先验缺乏理论基础的问题，该先验与以往最优后验集中结果所用先验不同。
• 通过分析BART实际使用的先验，弥合实际BART实现与理论保证之间的差距。
• 提出一种改进先验，使其在保持BART实际优势的同时实现最优后验集中率。
• 利用分支过程理论工具，建立BART的最优后验收敛速率。

提出的方法

• 将BART先验建模为异质Galton-Watson分支过程，以分析树大小和后代数的分布。
• 利用随机游走理论的联系，推导异质Galton-Watson过程总后代数的尾部界。
• 通过生成函数和矩母函数，刻画BART先验下树生长的随机行为。
• 提出一种改进先验，确保后验集中率与极小极大最优率一致。
• 通过将树结构与分支过程特性（特别是灭绝概率和种群大小分布）关联，推导理论结果。
• 结合树大小的概率界与回归函数的正则性条件，建立后验集中率。

实验结果

研究问题

• RQ1 在标准光滑性假设下，能否证明精确BART先验可实现最优后验集中率？
• RQ2 实际BART先验下的树大小分布与以往理论工作中使用的条件均匀先验相比有何差异？
• RQ3 为实现最优后验集中率并保持BART的实际特性，BART先验需要进行何种修改？
• RQ4 异质Galton-Watson过程在刻画BART树复杂性方面发挥何种作用？
• RQ5 在实际先验下，BART的最优后验收缩速率是多少？是否可实现？

主要发现

• 本文证明原始BART先验由于其在树大小上的特定分布特性，无法实现最优后验集中率。
• 提出一种改进的BART先验，在Hölder光滑回归函数下可确保后验集中率达到极小极大最优率。
• 推导出异质Galton-Watson过程总后代数的尾部界，从而精确控制树的复杂性。
• 证明BART的最优后验集中率即为极小极大率，确认其对未知光滑度的自适应性。
• 分析结果证实，当先验适当修改时，BART的理论性能可得到严格理论支持。