[论文解读] Stability of Random Forests and Coverage of Random-Forest Prediction Intervals

Yan Wang, Huaiqing Wu+1 more|arXiv (Cornell University)|Oct 28, 2023

Probabilistic and Robust Engineering Design被引用 5

一句话总结

本文在较弱的矩条件（具体而言，$Y^2$ 不具有重尾）下建立了随机森林的理论稳定性，从而为基于袋外误差构建的预测区间提供了非渐近覆盖保证。证明了所得预测区间能够实现接近名义水平 $1 - \alpha$ 的覆盖概率，且其边界随着样本量增加而收敛至 $1 - \alpha$。

ABSTRACT

We establish stability of random forests under the mild condition that the squared response ($Y^2$) does not have a heavy tail. In particular, our analysis holds for the practical version of random forests that is implemented in popular packages like exttt{randomForest} in exttt{R}. Empirical results show that stability may persist even beyond our assumption and hold for heavy-tailed $Y^2$. Using the stability property, we prove a non-asymptotic lower bound for the coverage probability of prediction intervals constructed from the out-of-bag error of random forests. With another mild condition that is typically satisfied when $Y$ is continuous, we also establish a complementary upper bound, which can be similarly established for the jackknife prediction interval constructed from an arbitrary stable algorithm. We also discuss the asymptotic coverage probability under assumptions weaker than those considered in previous literature. Our work implies that random forests, with its stability property, is an effective machine learning method that can provide not only satisfactory point prediction but also justified interval prediction at almost no extra computational cost.

研究动机与目标

• 为标准实现（如 R 语言中的 randomForest 包）中使用的实际随机森林算法建立理论稳定性。
• 弥合随机森林在经验上的成功与理论理解之间的差距，特别是关于预测区间有效性的理论基础。
• 为基于袋外误差推导的预测区间提供非渐近覆盖边界，确保在计算成本极低的前提下实现可靠的区间估计。
• 通过利用稳定性特性，将无分布预测推断的理论依据扩展至随机森林。
• 在弱于文献中先前要求的假设下，研究渐近覆盖行为。

提出的方法

• 以输出有界的袋装估计器的稳定性为基础，通过基于训练集 $Y$-值的条件输出边界，将其应用于随机森林。
• 引入概率偏差边界：$\mathbb{P}(|\mathsf{RF}_B(X) - \mathsf{RF}_B^{\backslash i}(X)| > \varepsilon_{n,B}) \leq \nu_{n,B}$，其中当 $n, B \to \infty$ 时，$\varepsilon_{n,B}, \nu_{n,B} \to 0$。
• 构建形式为 $\mathsf{RF}_B(X) \pm \text{quantile of } \{R_i\}$ 的预测区间，其中 $R_i = |Y_i - \mathsf{RF}_B^{\backslash i}(X_i)|$。
• 利用浓度不等式和分布函数的统一等度连续性，推导出覆盖概率的非渐近下界与上界。
• 应用有界控制定理与极限论证，证明在较弱正则性条件下，渐近覆盖收敛至 $1 - \alpha$。
• 利用稳定性来证明基于袋外误差的预测区间的有效性，避免了需要进行 $n$ 次单独的留一法拟合。

实验结果

研究问题

• RQ1 在何种条件下，随机森林预测器是稳定的，即删除单个训练样本对预测的影响可忽略？
• RQ2 在较弱矩假设下，基于随机森林袋外误差构建的预测区间能否实现保证的覆盖概率？
• RQ3 随着样本量增加，基于袋外误差的预测区间的非渐近覆盖边界如何变化？
• RQ4 在保持稳定性与覆盖保证的前提下，能否放宽对 $Y^2$ 轻尾的假设？
• RQ5 在弱于先前工作中假设的条件下，基于袋外误差的预测区间的渐近覆盖概率是多少？

主要发现

• 当 $Y^2$ 不具有重尾时，随机森林具有稳定性，满足 $\mathbb{P}(|\mathsf{RF}_B(X) - \mathsf{RF}_B^{\backslash i}(X)| > \varepsilon_{n,B}) \leq \nu_{n,B}$，其中当 $n, B \to \infty$ 时，$\varepsilon_{n,B}, \nu_{n,B} \to 0$。
• 基于袋外误差的预测区间的覆盖概率满足 $\mathbb{P}(|Y - \mathsf{RF}_B(X)| \leq q_{n,\alpha}\{R_i\} + \varepsilon_{n,B}) \geq 1 - \alpha - O(\sqrt{\nu_{n,B}})$，提供了非渐近下界。
• 在额外假设 $Y$ 连续（确保误差互异）的条件下，上界为 $\mathbb{P}(|Y - \mathsf{RF}_B(X)| \leq q_{n,\alpha}\{R_i\} - \varepsilon_{n,B}) \leq 1 - \alpha + \frac{1}{n+1} + O(\sqrt{\nu_{n,B}})$。
• 在所述条件下，渐近覆盖概率收敛至 $1 - \alpha$，即 $\lim_{n \to \infty} \mathbb{P}(R \leq q_{n,\alpha}\{R_i\}) = 1 - \alpha$。
• 数值证据表明，即使在重尾分布 $Y$（如柯西分布）下，稳定性也可能持续存在，尽管理论分析要求 $Y^2$ 具有轻尾假设。
• 该方法可在几乎不增加额外计算成本的前提下，实现有效且计算高效的预测区间。