[论文解读] Risk bounds for purely uniformly random forests

Robin Genuer|arXiv (Cornell University)|Jun 15, 2010

Statistical Methods and Inference参考文献 11被引用 11

一句话总结

本文提出纯均匀随机森林（PURF），一种简化版随机森林模型，其中分裂点完全随机生成，不依赖于训练数据。在一维回归任务中，该文证明PURF可达到极小极大收敛速率，并使估计器方差相比单棵随机树降低3/4，展示了无需增加偏差的集成平均理论优势。

ABSTRACT

Random forests, introduced by Leo Breiman in 2001, are a very effective statistical method. The complex mechanism of the method makes theoretical analysis difficult. Therefore, a simplified version of random forests, called purely random forests, which can be theoretically handled more easily, has been considered. In this paper we introduce a variant of this kind of random forests, that we call purely uniformly random forests. In the context of regression problems with a one-dimensional predictor space, we show that both random trees and random forests reach minimax rate of convergence. In addition, we prove that compared to random trees, random forests improve accuracy by reducing the estimator variance by a factor of three fourths.

研究动机与目标

• 分析随机森林的一种简化变体——纯均匀随机森林（PURF），以促进其性能的理论研究。
• 建立在一维预测空间下的非参数回归中PURF的风险边界。
• 量化在随机森林中使用集成方法相比单棵随机树在估计器方差上的改进程度。
• 证明PURF在Lipschitz函数类上可达到极小极大收敛速率。
• 在理论上可处理的设定下，分离出集成平均带来的方差减少优势。

提出的方法

• 该方法通过k个独立同分布的均匀随机变量在单位区间[0,1]上构造随机划分，用于基于回归核密度估计的树模型。
• 森林中的每棵树均独立构建，使用随机划分，预测基于每个区间内响应变量的均值。
• 通过平均q个独立PURF树的预测结果来聚合森林预测器，以降低方差。
• 分析将风险分解为偏差与方差两部分，方差项通过两棵树间重叠区间的期望数量进行有界控制。
• 关键技术工具包括均匀随机变量的顺序统计量以及超几何分布恒等式，用于计算两组随机划分之间的期望重叠。
• 通过渐近分析（当n → ∞时）推导理论边界，其中k随n缓慢增长以控制偏差与方差。

实验结果

研究问题

• RQ1 纯均匀随机森林能否在一维非参数回归中实现极小极大收敛速率？
• RQ2 随机森林估计器的方差与单棵随机树相比如何？
• RQ3 在此简化模型中，随机森林的集成平均是否在不增加偏差的前提下降低方差？
• RQ4 与单棵PURF相比，PURF中方差减少的确切倍数是多少？
• RQ5 能否在简化且i.i.d.分裂的设定下对随机森林的理论性能进行严格分析？

主要发现

• 纯均匀随机森林在一维输入空间中对Lipschitz函数类的回归任务可达到极小极大收敛速率。
• 随机森林估计器的方差相比单棵随机树降低了3/4，而偏差保持不变。
• 两棵独立PURF之间重叠区间的期望数量渐近为(k+1)/4，这驱动了方差的降低。
• 当n → ∞时，PURF的风险边界为O(σ²(k+1)/n)，低阶项趋于零，证实了极小极大最优性。
• 分析结果表明，PURF中集成平均确实将方差降低了3/4，为随机森林性能提升提供了理论依据。
• 该结果在i.i.d.均匀分裂和已知误差方差σ²的假设下成立，且模型限制在一维预测变量。