[论文解读] Solving Heterogeneous Estimating Equations with Gradient Forests

Susan Athey, Julie Tibshirani+1 more|arXiv (Cornell University)|Jan 1, 2016

Machine Learning and Algorithms被引用 7

一句话总结

本文提出了梯度森林（gradient forests），这是一种针对统计任务中异质性估计方程（如非参数分位数回归和异质性处理效应估计）的决策树生长统一框架。通过基于梯度的伪结果对观测值进行标记，并应用标准CART分裂方法，该方法在基线随机森林基础上提升了准确性，并建立了理论一致性与渐近正态性。

ABSTRACT

Forest-based methods are being used in an increasing variety of statistical tasks, including causal inference, survival analysis, and quantile regression. Extending forest-based methods to these new statistical settings requires specifying tree-growing algorithms that are targeted to the task at hand, and the ad-hoc design of such algorithms can require considerable effort. In this paper, we develop a unified framework for the design of fast tree-growing procedures for tasks that can be characterized by heterogeneous estimating equations. The resulting gradient forest consists of trees grown by recursively applying a pre-processing step where we label each observation with gradient-based pseudo-outcomes, followed by a regression step that runs a standard CART regression split on these pseudo-outcomes. We apply our framework to two important statistical problems, non-parametric quantile regression and heterogeneous treatment effect estimation via instrumental variables, and we show that the resulting procedures considerably outperform baseline forests whose splitting rules do not take into account the statistical question at hand. Finally, we prove the consistency of gradient forests, and establish a central limit theorem. Our method will be available as an R-package, gradientForest, which draws from the ranger package for random forests.

研究动机与目标

• 为解决在标准回归之外的复杂统计问题中设计高效、任务特定的树生长算法的挑战。
• 将多种统计任务（如分位数回归和工具变量估计）统一于基于森林的方法的单一框架下。
• 通过在分裂过程中引入基于梯度的伪结果，提升随机森林方法的性能。
• 为所提出的梯度森林方法建立理论基础，包括一致性与渐近正态性。

提出的方法

• 该方法通过计算目标统计问题的估计方程的基于梯度的伪结果，对每个节点进行预处理。
• 随后，使用这些伪结果对观测值进行标记，这些伪结果编码了局部估计方程的梯度。
• 对这些伪结果应用标准CART回归分裂以生长树，使分裂与统计目标对齐。
• 该框架具有通用性，适用于通过异质性估计方程表述的任何问题。
• 该方法利用现有的随机森林基础设施，实现基于ranger R包构建。

实验结果

研究问题

• RQ1 能否为适应由估计方程定义的多样化统计任务的树生长开发一个统一框架？
• RQ2 在非参数分位数回归中，将基于梯度的伪结果纳入分裂规则在多大程度上提升了性能？
• RQ3 在使用工具变量进行异质性处理效应估计时，梯度森林方法在多大程度上优于基线随机森林？
• RQ4 为所提出的梯度森林方法可建立哪些理论性质，如一致性与渐近正态性？

主要发现

• 梯度森林方法在非参数分位数回归和通过工具变量进行的异质性处理效应估计中，显著优于基线随机森林。
• 使用基于梯度的伪结果可实现比标准回归分裂更精确且更具统计针对性的树分裂。
• 该方法实现了的一致性，即随着样本量增加，估计函数收敛于真实底层函数。
• 建立了中心极限定理，支持该框架中估计参数的渐近推断。