[论文解读] Universal Consistency of Decision Trees in High Dimensions

Jason M. Klusowski|arXiv (Cornell University)|Apr 28, 2021

Statistical Methods and Inference参考文献 27被引用 4

一句话总结

该论文在高维加法模型中建立了CART决策树与随机森林的普遍一致性，即使预测变量数量随样本量呈指数增长，且在$1$-范数稀疏性约束下，依然成立。令人惊讶的是，仅使用单棵树即可实现一致性，且当mtry参数趋于零时仍保持一致，表明其在无需集成平均的情况下对稀疏性具有强大自适应能力。

ABSTRACT

This paper shows that decision trees constructed with Classification and Regression Trees (CART) methodology are universally consistent in an additive model context, even when the number of predictor variables scales exponentially with the sample size, under certain $1$-norm sparsity constraints. The consistency is universal in the sense that there are no a priori assumptions on the distribution of the predictor variables. Amazingly, this adaptivity to (approximate or exact) sparsity is achieved with a single tree, as opposed to what might be expected for an ensemble. Finally, we show that these qualitative properties of individual trees are inherited by Breiman's random forests. Another surprise is that consistency holds even when the mtry tuning parameter vanishes as a fraction of the number of predictor variables, thus speeding up computation of the forest. A key step in the analysis is the establishment of an oracle inequality, which precisely characterizes the goodness-of-fit and complexity tradeoff for a misspecified model.

研究动机与目标

• 在对预测变量分布假设最少的前提下，建立决策树的普遍一致性。
• 分析当预测变量数量随样本量呈指数增长时，CART树在高维设置下的性能。
• 研究单棵树是否能在无需集成方法的情况下自适应稀疏性。
• 将一致性结果扩展至布雷曼的随机森林，包括mtry参数趋于零的情形。
• 推导一个Oracle不等式，以刻画模型误设情形下拟合优度与模型复杂度之间的权衡。

提出的方法

• 分析依赖于一个Oracle不等式，用于量化模型误设的加法模型中拟合优度与模型复杂度之间的权衡。
• 作者对真实潜在回归函数施加$1$-范数稀疏性约束，以控制模型复杂度。
• 在对预测变量分布假设最少的前提下建立一致性，确保方法的普遍适用性。
• 该方法利用决策树的结构性质，使其能够自适应稀疏或近似稀疏的加法模型。
• 通过分析集成中单棵树的行为，将框架扩展至随机森林。
• 允许mtry参数相对于预测变量数量趋于零，从而在保持一致性的前提下提升计算效率。

实验结果

研究问题

• RQ1 当预测变量数量随样本量呈指数增长时，CART决策树是否能在高维加法模型中实现普遍一致性？
• RQ2 即使对预测变量的分布假设较弱，单棵树是否也能在无需集成平均的情况下自适应稀疏性？
• RQ3 当mtry参数相对于预测变量数量趋于零时，随机森林中的普遍一致性是否仍然保持？
• RQ4 在模型误设的加法模型中，拟合优度与复杂度之间的权衡如何体现？
• RQ5 Oracle不等式在刻画模型误设下决策树性能方面起到什么作用？

主要发现

• CART决策树在高维加法模型中具有普遍一致性，即使预测变量数量随样本量呈指数增长。
• 该一致性不依赖于预测变量分布的任何先验假设，从而确立了普遍性。
• 单棵树即可实现对稀疏性的自适应，与通常认为需要集成方法才能实现此类自适应的预期相反。
• 随机森林继承了单棵树的一致性特性，即使mtry参数相对于预测变量数量趋于零。
• 推导出一个Oracle不等式，精确刻画了模型误设情形下拟合优度与复杂度之间的权衡。
• 结果表明，通过mtry参数趋于零实现的计算效率提升，并不会损害统计一致性。