[论文解读] On the asymptotics of random forests

Erwan Scornet|Sep 7, 2014

Bayesian Methods and Mixture Models参考文献 28被引用 7

一句话总结

本文通过证明有限森林的统一中心极限定理，并将其性能与无限森林联系起来，建立了随机森林的理论基础。结果表明，无限森林的一致性可推出有限森林的一致性，并且即使在 q-分位数森林中个体树不一致，通过聚合仍可实现一致预测，从而弥合了随机森林方法论中理论与实践之间的一个关键差距。

ABSTRACT

The last decade has witnessed a growing interest in random forest models which are recognized to exhibit good practical performance, especially in high-dimensional settings. On the theoretical side, however, their predictive power remains largely unexplained, thereby creating a gap between theory and practice. The aim of this paper is twofold. Firstly, we provide theoretical guarantees to link finite forests used in practice (with a finite number M of trees) to their asymptotic counterparts. Using empirical process theory, we prove a uniform central limit theorem for a large class of random forest estimates, which holds in particular for Breiman's original forests. Secondly, we show that infinite forest consistency implies finite forest consistency and thus, we state the consistency of several infinite forests. In particular, we prove that q quantile forests---close in spirit to Breiman's forests but easier to study---are able to combine inconsistent trees to obtain a final consistent prediction, thus highlighting the benefits of random forests compared to single trees.

研究动机与目标

• 通过严格连接有限森林（树的数量 M < ∞）与无限森林（M = ∞）来弥合随机森林模型的理论-实践差距。
• 利用经验过程理论，为包括布雷曼原始算法在内的广泛类随机森林估计器建立统一中心极限定理。
• 证明无限森林的一致性可推出有限森林的一致性，从而验证理论结果在实际实现中的有效性。
• 证明 q-分位数森林——尽管依赖于不一致的个体树——仍可通过聚合实现一致预测，凸显集成平均的强大作用。

提出的方法

• 利用经验过程理论推导随机森林估计的统一中心极限定理，确保在整个输入空间上的收敛性。
• 分析无限森林的 L² 风险，并证明其被有限森林的风险随机支配，从而支持对无限模型的理论分析。
• 引入 q-分位数森林作为简化模型，其中树的构建依赖于数据点的位置，以增强理论可处理性。
• 使用递归积分与归纳法推导均匀随机森林在第 k 层停止时的连接函数 K_k(0,x)，并证明其闭式表达式。
• 应用关于单元长度比较与切割位置映射的技术引理，建立不同树构建配置之间的随机支配关系。
• 证明无限森林的风险是有限森林风险的下界，意味着无限极限中的一致性可确保有限设置中的一致性。

实验结果

研究问题

• RQ1 无限随机森林的一致性是否意味着具有有限棵树的有限随机森林也一致？
• RQ2 结合不一致个体树的随机森林是否仍能产生一致的整体预测？
• RQ3 与单棵树相比，随机森林在经验性能上更优越的理论依据是什么？
• RQ4 如何严格地将无限森林的理论分析与使用有限棵树的实际实现联系起来？
• RQ5 当个体树不一致时，随机化在确保一致性方面起到什么作用？

主要发现

• 在一般条件下，为包括布雷曼原始算法在内的广泛类随机森林估计器建立了统一中心极限定理。
• 无限森林的 L² 风险被证明随机小于任何有限森林的风险，意味着无限森林的一致性可推出有限森林的一致性。
• 即使个体树不一致，q-分位数森林也被证明是一致的，凸显了集成平均的强大作用。
• 均匀随机森林在第 k 层停止时的连接函数 K_k(0,x) 以闭式表达为 1 - x∑_{j=0}^{k-1} (−ln x)^j / j!。
• 理论分析证实，通过平均不一致的树，随机森林可实现一致性，解决了长期存在的理论难题。
• 本文首次为有限的实际随机森林与其无限的理论对应物之间建立了严格的联系，验证了理论模型在现实世界中的适用性。