[论文解读] Scalable and Efficient Hypothesis Testing with Random Forests

Tim Coleman, Wei Peng+1 more|arXiv (Cornell University)|Apr 16, 2019

Bayesian Methods and Mixture Models参考文献 52被引用 17

一句话总结

本文提出了一种计算高效且统计有效的基于置换的假设检验方法，用于评估随机森林中的特征重要性，通过利用可交换性与子采样，实现了相较于先前方法数量级减少的计算量，同时保持了渐近有效性。该方法保持了高统计功效，并能自然扩展至大规模数据，实现无需严格假设或计算成本过高的正式推断。

ABSTRACT

Throughout the last decade, random forests have established themselves as among the most accurate and popular supervised learning methods. While their black-box nature has made their mathematical analysis difficult, recent work has established important statistical properties like consistency and asymptotic normality by considering subsampling in lieu of bootstrapping. Though such results open the door to traditional inference procedures, all formal methods suggested thus far place severe restrictions on the testing framework and their computational overhead precludes their practical scientific use. Here we propose a permutation-style testing approach to formally assess feature significance. We establish asymptotic validity of the test via exchangeability arguments and show that the test maintains high power with orders of magnitude fewer computations. As importantly, the procedure scales easily to big data settings where large training and testing sets may be employed without the need to construct additional models. Simulations and applications to ecological data where random forests have recently shown promise are provided.

研究动机与目标

• 开发一种在随机森林中具有统计有效性且计算高效的特征显著性假设检验方法。
• 克服现有参数方法的局限性，这些方法计算成本过高且限制了测试框架。
• 解决启发式袋外重要性度量的不足，这些度量在存在相关性或分类协变量时可能具有误导性。
• 在大规模数据场景下实现正式推断，而无需重新训练模型或估计干扰参数。
• 通过可交换性论证与子采样，建立该检验的渐近有效性。

提出的方法

• 该方法使用置换检验来评估特征显著性，通过随机打乱预测变量值并测量均方误差（MSE）的变化。
• 其依赖于在子采样下随机森林树的可交换性，从而为置换分布提供渐近合理性。
• 检验统计量基于原始数据与置换数据之间MSE的差异，p值通过经验置换分布计算得出。
• 该过程使用固定数量的树（例如，B=250或500）和根据样本大小调整的mtry参数，避免了完整模型的重新训练。
• 通过渐近正态性与收敛性论证建立理论有效性，借鉴了Chung和Romano（2013）关于可交换数组线性形式的研究结果。
• 该方法通过两步过程实现：首先，通过置换计算重要性得分；其次，使用相同框架对全部特征集进行全局检验。

实验结果

研究问题

• RQ1 能否在随机森林中实现一种既具有统计有效性又计算高效的基于置换的特征重要性假设检验？
• RQ2 与现有参数方法相比，该方法是否在将计算成本降低数量级的同时仍保持高统计功效？
• RQ3 在一般原假设下，即使数据非独立同分布，该检验是否能通过子采样子树中的可交换性实现渐近有效性？
• RQ4 该方法是否能扩展至大规模数据集，而无需额外的模型拟合或干扰参数估计？
• RQ5 在存在相关或分类预测变量时，该方法与启发式袋外重要性度量相比，在可靠性方面表现如何？

主要发现

• 所提出的置换检验在可交换性假设下实现了渐近有效性，且在原假设下p值条件无偏。
• 与现有参数推断方法相比，该方法所需的计算量减少了数量级，从而在大规模数据环境中具备实际可用性。
• 在eBird数据上，全局检验得到p值为0.0004，表明数据中存在强信号，其中eff.hours和date为显著预测变量。
• 在森林火灾数据上，全局检验得到p值为0.0040，表明可检测到信号，且在α=0.05水平下仅风速为显著特征。
• 在存在相关或分类协变量时，该方法在检测真实信号方面优于启发式袋外重要性度量。
• 即使在对所有特征逐一进行检验时，该方法仍保持计算可行性，因为每次检验仅需少量树，使得重复检验高效。