[论文解读] Recursive Partitioning for Heterogeneous Causal Effects

Susan Athey, Guido W. Imbens|arXiv (Cornell University)|Apr 5, 2015

Advanced Causal Inference Techniques参考文献 22被引用 21

一句话总结

本文提出了一种诚实的递归划分方法，用于在实验和观察性研究中估计异质性因果效应，通过使用独立样本进行树结构构建和处理效应估计，确保有效的推断。该方法即使在高维协变量和小样本情况下，也能实现置信区间的名义覆盖，其覆盖性能优于自适应方法，同时保持良好的拟合度。

ABSTRACT

In this paper we study the problems of estimating heterogeneity in causal effects in experimental or observational studies and conducting inference about the magnitude of the differences in treatment effects across subsets of the population. In applications, our method provides a data-driven approach to determine which subpopulations have large or small treatment effects and to test hypotheses about the differences in these effects. For experiments, our method allows researchers to identify heterogeneity in treatment effects that was not specified in a pre-analysis plan, without concern about invalidating inference due to multiple testing. In most of the literature on supervised machine learning (e.g. regression trees, random forests, LASSO, etc.), the goal is to build a model of the relationship between a unit's attributes and an observed outcome. A prominent role in these methods is played by cross-validation which compares predictions to actual outcomes in test samples, in order to select the level of complexity of the model that provides the best predictive power. Our method is closely related, but it differs in that it is tailored for predicting causal effects of a treatment rather than a unit's outcome. The challenge is that the "ground truth" for a causal effect is not observed for any individual unit: we observe the unit with the treatment, or without the treatment, but not both at the same time. Thus, it is not obvious how to use cross-validation to determine whether a causal effect has been accurately predicted. We propose several novel cross-validation criteria for this problem and demonstrate through simulations the conditions under which they perform better than standard methods for the problem of causal effects. We then apply the method to a large-scale field experiment re-ranking results on a search engine.

研究动机与目标

• 开发一种数据驱动的方法，将人群划分为具有不同处理效应的亚组，尤其适用于协变量数量相对于样本量较大的情况。
• 实现在亚群中进行有效统计推断（特别是具有名义覆盖的置信区间）的处理效应推断，即使异质性的函数形式未知。
• 通过允许数据驱动的亚组发现，解决探索性亚组分析中的多重检验问题，同时避免类型 I 误差率膨胀。
• 通过修改回归树以优化处理效应异质性而非结果预测，将机器学习技术适配于因果推断。
• 在观察性研究中，基于不可忽略性假设，通过倾向得分加权校正选择偏差，提供一个适用的框架。

提出的方法

• 该方法采用‘诚实’策略：使用一个样本通过基于处理效应异质性的递归划分来构建因果森林或树，而使用另一个独立样本在每个叶节点估计处理效应。
• 划分标准优化处理效应估计的拟合优度，而非结果预测，并考虑分裂引起的方差变化。
• 通过将交叉验证适配于因果设置，使用独立的折用于划分和估计，避免对虚假相关性的过拟合。
• 在观察性研究中，使用基于倾向得分的逆概率加权法估计每个叶节点内的处理效应，并在处理组和对照组内进行重加权以提高效率。
• 通过惩罚那些虽改善拟合但降低处理效应估计精度的分裂来平衡偏差与方差，实现模型选择。
• 该方法避免稀疏性假设，并在协变量数量超过样本量时仍能保持有效推断。

实验结果

研究问题

• RQ1 我们能否在确保每个亚组置信区间有效性的前提下，构建一个数据驱动的人群划分，使其具有不同的处理效应？
• RQ2 在不假设稀疏性或已知函数形式的前提下，如何在高维设置下实现处理效应置信区间的名义覆盖？
• RQ3 与使用相同数据进行模型选择和估计的自适应方法相比，诚实估计在覆盖性能上的提升程度如何？
• RQ4 该方法能否扩展至在不可忽略性假设下的观察性研究？倾向得分加权如何影响推断质量？
• RQ5 该方法是否允许在随机化试验中进行有效的事后亚组探索，而不会因多重检验导致类型 I 误差率膨胀？

主要发现

• 诚实递归划分方法在所有模拟设计中均实现了 90% 置信区间的名义覆盖率，即使在协变量众多且样本量较小的情况下也成立。
• 相比之下，自适应方法（机器学习中常见）的覆盖性能显著偏低，通常低于名义水平，这是由于数据自适应模型选择带来的偏差所致。
• 该方法在保持良好处理效应预测拟合度的同时，显著提升了推断的有效性，展现出偏差与覆盖之间的有利权衡。
• 该方法可在无需预先指定亚组的情况下，实现随机化实验中可靠的亚组分析，避免了多重假设检验的陷阱。
• 在观察性研究中，结合倾向得分加权后，该方法仍能保持有效推断，尤其当在处理组和对照组内进行重加权时效果更佳。
• 该方法对高维协变量具有鲁棒性，且无需稀疏性假设，适用于临床试验等场景（如数百名患者及大量患者特征）。