[论文解读] Standard Errors for Bagged Predictors and Random Forests

Stefan Wager, Trevor Hastie+1 more|arXiv (Cornell University)|Nov 18, 2013

Machine Learning and Algorithms被引用 4

一句话总结

本文通过改进自助法（jackknife）和影响 infinitesimal jackknife（IJ）方法，提出了计算高效的袋装预测器和随机森林标准误估计器。结果表明，新估计器仅需 O(n) 次自助重采样，而非先前方法所需的 O(n^1.5) 次；且 IJ 估计器在实现相同精度的情况下，所需重采样次数仅为自助法的 1.7 倍，显著降低了计算成本，同时保持了精度。

ABSTRACT

We study the variability of predictions made by bagged learners and random forests, and show how to estimate standard errors for these methods. Our work builds on variance estimates for bagging proposed by Efron (1992, 2012) that are based on the jackknife and the infinitesimal jackknife (IJ). In practice, bagged predictors are computed using a finite number B of bootstrap replicates, and working with a large B can be computationally expensive. Direct applications of jackknife and IJ estimators to bagging require B on the order of n^{1.5} bootstrap replicates to converge, where n is the size of the training set. We propose improved versions that only require B on the order of n replicates. Moreover, we show that the IJ estimator requires 1.7 times less bootstrap replicates than the jackknife to achieve a given accuracy. Finally, we study the sampling distributions of the jackknife and IJ variance estimates themselves. We illustrate our findings with multiple experiments and simulation studies.

研究动机与目标

• 解决袋装预测器与随机森林中标准误估计的高计算成本问题。
• 改进袋装方法中现有自助法与影响 infinitesimal jackknife（IJ）方差估计器，以减少所需的自助重采样次数。
• 证明 IJ 估计器在达到相似精度时，相较于自助法具有更高的效率（即所需自助样本量更少）。
• 分析自助法与 IJ 方法生成的方差估计的抽样分布。
• 提供适用于袋装模型实际应用的实用且可扩展的方差估计技术。

提出的方法

• 提出专为袋装预测器与随机森林设计的改进型自助法与影响 infinitesimal jackknife（IJ）估计器。
• 推导理论条件，证明改进估计器仅需 O(n) 次自助重采样即可收敛，而非先前方法所需的 O(n^1.5) 次。
• 利用影响函数与经验过程理论，证明新估计器的一致性与效率。
• 通过模拟研究实现并验证估计器，比较不同自助样本量下的收敛速度与精度。
• 分析方差估计的抽样分布，以评估其可靠性和稳定性。

实验结果

研究问题

• RQ1 能否在不牺牲精度的前提下，使袋装预测器的标准误估计更加计算高效？
• RQ2 当应用于袋装模型时，自助法与 IJ 估计器的收敛速度如何比较？
• RQ3 使用改进的自助法与 IJ 方法进行可靠方差估计，所需的最少自助重采样次数是多少？
• RQ4 在有限自助样本量下，自助法与 IJ 方差估计的抽样分布行为如何？
• RQ5 IJ 估计器是否能以更少的自助重采样次数达到与自助法相当的精度？

主要发现

• 所提出的改进型自助法与 IJ 估计器仅需 O(n) 次自助重采样即可收敛，将计算负担从先前方法的 O(n^1.5) 显著降低。
• IJ 估计器在实现与自助法相同精度时，所需自助重采样次数仅为后者的 1.7 倍，展现出更高的效率。
• 在所提出的估计器下，自助法与 IJ 方差估计的抽样分布近似正态分布，支持其在统计推断中的应用。
• 模拟研究证实，即使在中等大小的自助样本量下，新估计器仍保持低偏差与良好的精度。
• 改进的估计器在各种数据生成机制与模型复杂度下均表现稳健，适用于实际部署。