[论文解读] Uniform Convergence of Random Forests via Adaptive Concentration

Stefan Wager, Guenther Walther|arXiv (Cornell University)|Mar 22, 2015

Statistical Methods and Inference被引用 9

一句话总结

本文引入自适应集中性（adaptive concentration）以分析回归树与随机森林，表明拟合后的树以高概率在输入空间上均匀地以 O(√(log d log n / k)) 的速率集中于最优预测器。该框架为高维设置下自适应生长的森林提供了相合性与泛化界。

ABSTRACT

We study the convergence of the predictive surface of regression trees and forests. To support our analysis we introduce a notion of adaptive concentration for regression trees. This approach breaks tree training into a model selection phase in which we pick the tree splits, followed by a model fitting phase where we find the best regression model consistent with these splits. We then show that the fitted regression tree concentrates around the optimal predictor with the same splits: as d and n get large, the discrepancy is with high probability bounded on the order of sqrt(log(d)log(n)/k) uniformly over the whole regression surface, where d is the dimension of the feature space, n is the number of training examples, and k is the minimum leaf size for each tree. We also provide rate-matching lower bounds for this adaptive concentration statement. From a practical perspective, our result enables us to prove consistency results for adaptively grown forests in high dimensions, and to derive generalization bounds for a large class of regression forests.

研究动机与目标

• 在高维设置下建立回归树与森林的统一收敛性。
• 为分析随机森林中自适应树生长的理论框架进行开发。
• 利用新颖的集中方法，为一大类回归森林推导泛化界。
• 为基于树模型的自适应集中性推导匹配速率的下界。
• 在维度 d 与样本量 n 增长时，支持自适应生长森林的一致性结果。

提出的方法

• 将树训练分解为模型选择（分裂选择）与模型拟合（回归估计）两个阶段。
• 引入自适应集中性作为回归树的新集中不等式，用于在固定分裂下界定向量与最优预测器之间的偏差。
• 在高概率统一界下分析拟合预测器与最优预测器之间的差异。
• 在整片回归表面上推导出统一收敛速率为 O(√(log d log n / k))，其中 k 为最小叶节点大小。
• 利用自适应集中性框架，证明高维下自适应生长森林的一致性。
• 建立匹配速率的下界，以验证所推导收敛速率的紧致性。

实验结果

研究问题

• RQ1 我们如何正式分析高维特征空间中回归树与森林的统一收敛性？
• RQ2 何种理论框架能够支持对自适应生长树（分裂依赖于数据）的分析？
• RQ3 在自适应分裂下，回归树预测表面的最优收敛速率为何？
• RQ4 我们能否利用该框架为一大类随机森林推导泛化界？
• RQ5 所推导的收敛速率与理论下界相比有多紧？

主要发现

• 回归树的预测表面以高概率在统一收敛速率 O(√(log d log n / k)) 下收敛于最优预测器。
• 自适应集中性框架使得即使分裂为数据自适应时，也能实现统一收敛性分析。
• 所推导的收敛速率与下界匹配，表明其具有理论紧致性。
• 该框架支持高维设置下自适应生长森林的一致性结果。
• 利用自适应集中性方法，为一大类回归森林建立了泛化界。
• 该分析在整个回归表面上统一适用，而不仅限于特定点。