[论文解读] Random Forests for dependent data

Arkajyoti Saha, Sumanta Basu+1 more|arXiv (Cornell University)|Jul 30, 2020

Advanced Statistical Methods and Models参考文献 71被引用 6

一句话总结

该论文提出了一种名为RF-GLS的新方法，作为随机森林的扩展，通过引入广义最小二乘法（GLS）来考虑地理空间数据中的空间依赖性，显著提升了标准随机森林在估计与预测方面的性能。通过使用高斯过程建模空间相关性，并将随机森林的损失函数调整为GLS形式，RF-GLS在β-混合依赖条件下实现了理论一致性，并在模拟实验中优于现有方法，首次建立了随机森林在依赖数据条件下的理论一致性结果。

ABSTRACT

Random forest (RF) is one of the most popular methods for estimating regression functions. The local nature of the RF algorithm, based on intra-node means and variances, is ideal when errors are i.i.d. For dependent error processes like time series and spatial settings where data in all the nodes will be correlated, operating locally ignores this dependence. Also, RF will involve resampling of correlated data, violating the principles of bootstrap. Theoretically, consistency of RF has been established for i.i.d. errors, but little is known about the case of dependent errors. We propose RF-GLS, a novel extension of RF for dependent error processes in the same way Generalized Least Squares (GLS) fundamentally extends Ordinary Least Squares (OLS) for linear models under dependence. The key to this extension is the equivalent representation of the local decision-making in a regression tree as a global OLS optimization which is then replaced with a GLS loss to create a GLS-style regression tree. This also synergistically addresses the resampling issue, as the use of GLS loss amounts to resampling uncorrelated contrasts (pre-whitened data) instead of the correlated data. For spatial settings, RF-GLS can be used in conjunction with Gaussian Process correlated errors to generate kriging predictions at new locations. RF becomes a special case of RF-GLS with an identity working covariance matrix. We establish consistency of RF-GLS under beta- (absolutely regular) mixing error processes and show that this general result subsumes important cases like autoregressive time series and spatial Matern Gaussian Processes. As a byproduct, we also establish consistency of RF for beta-mixing processes, which to our knowledge, is the first such result for RF under dependence. We empirically demonstrate the improvement achieved by RF-GLS over RF for both estimation and prediction under dependence.

研究动机与目标

• 为解决标准随机森林在忽略空间相关性的情况下于空间相关数据中表现不佳的问题。
• 开发一种系统化的随机森林扩展方法，通过高斯过程与GLS显式建模空间依赖性。
• 在β-混合依赖条件下建立所提方法的理论一致性，包括首次为依赖数据下的随机森林提供一致性结果。
• 提供一个可将协变量效应与空间随机效应分离的框架，从而实现对非线性协变量函数的有效推断。
• 将该方法推广至空间数据以外的其他依赖数据类型，如时间序列。

提出的方法

• 提出RF-GLS作为随机森林的一般化形式，其中节点分裂准则基于广义最小二乘法（GLS）而非普通最小二乘法（OLS），以考虑空间相关性。
• 使用具有Matérn协方差函数的高斯过程（GP）对空间依赖性进行建模，将空间结构嵌入损失函数中。
• 采用数据驱动的非参数函数类表示回归函数，使用基于树的基函数以适应数据特征。
• 对树的集成应用GLS风格的优化，确保最终估计结果能够反映误差的协方差结构。
• 在β-混合依赖条件下应用大数定律的统一形式，以建立理论一致性。
• 推导出适用于数据驱动函数类的GLS优化器的一般一致性结果，该结果不仅适用于RF-GLS，也适用于更广泛场景。

实验结果

研究问题

• RQ1 忽略空间相关性对标准随机森林在地理空间数据中的性能有何影响？
• RQ2 能否系统性地扩展随机森林以处理空间相关数据，同时保持理论一致性？
• RQ3 所提出的RF-GLS方法是否在估计与预测精度上优于现有方法（如RF-RK与RFsp）？
• RQ4 是否存在随机森林在依赖数据下的理论基础，特别是针对β-混合过程？
• RQ5 GLS框架能否推广至空间过程以外的其他类型依赖数据？

主要发现

• 在多种具有空间相关性的模拟场景中，RF-GLS在估计与预测方面均显著优于标准随机森林。
• 该方法在β-混合依赖误差过程中实现了理论一致性，包括广泛使用的Matérn高斯过程，首次建立了随机森林在依赖数据条件下的理论一致性结果。
• 实证结果表明，当空间相关性较强时，RF-GLS仍能保持优异性能，而标准随机森林在此类条件下性能明显下降。
• 所提出的在β-混合依赖条件下的统一大数定律为分析依赖数据中GLS风格估计器的非参数回归提供了新的理论工具。
• RF-GLS可扩展至其他依赖数据类型（如时间序列），展现出超越空间数据的广泛适用性。
• 该方法成功将非线性协变量效应 $ m(\mathbf{x}) $ 与空间随机效应分离，从而在混合模型框架中实现有效推断。