[论文解读] Towards optimal doubly robust estimation of heterogeneous causal effects

Edward H. Kennedy|arXiv (Cornell University)|Apr 29, 2020

Advanced Causal Inference Techniques被引用 23

一句话总结

本文提出了一种新颖的双重稳健估计器——lp-R-Learner，用于异质因果效应的估计，通过利用局部多项式回归和估计的潜在结果，实现了更快的收敛速度。该文建立了估计器达到Oracle效率的条件，并提供了极小极大最优的误差界，表明在弱于先前方法的光滑性假设下性能有所提升。

ABSTRACT

Heterogeneous effect estimation plays a crucial role in causal inference, with applications across medicine and social science. Many methods for estimating conditional average treatment effects (CATEs) have been proposed in recent years, but there are important theoretical gaps in understanding if and when such methods are optimal. This is especially true when the CATE has nontrivial structure (e.g., smoothness or sparsity). Our work contributes in several main ways. First, we study a two-stage doubly robust CATE estimator and give a generic model-free error bound, which, despite its generality, yields sharper results than those in the current literature. We apply the bound to derive error rates in nonparametric models with smoothness or sparsity, and give sufficient conditions for oracle efficiency. Underlying our error bound is a general oracle inequality for regression with estimated or imputed outcomes, which is of independent interest; this is the second main contribution. The third contribution is aimed at understanding the fundamental statistical limits of CATE estimation. To that end, we propose and study a local polynomial adaptation of double-residual regression. We show that this estimator can be oracle efficient under even weaker conditions, if used with a specialized form of sample splitting and careful choices of tuning parameters. These are the weakest conditions currently found in the literature, and we conjecture that they are minimal in a minimax sense. We go on to give error bounds in the non-trivial regime where oracle rates cannot be achieved. Some finite-sample properties are explored with simulations.

研究动机与目标

• 开发一种更灵活且理论基础更坚实的条件平均处理效应（CATE）估计器，以考虑结构化的CATE函数。
• 填补对CATE估计基本统计极限理解的空白，特别是在非参数和光滑性约束下的情况。
• 推导适用于广泛估计器类别的、具有估计结果的回归的一般误差界。
• 证明在比以往已知更弱的光滑性条件下，Oracle效率是可实现的，尤其针对干扰函数。
• 研究所推导的误差率在非Oracle情形下是否为极小极大最优。

提出的方法

• 引入一种两阶段双重稳健CATE估计器——DR-Learner，基于机器学习方法估计潜在结果。
• 应用一个一般性误差界，用于具有估计结果的回归，该误差界是本文的关键技术贡献。
• 提出lp-R-Learner，即双残差回归的局部多项式变体，以在非Oracle情形下改进估计精度。
• 利用已知的协变量密度对lp-R-Learner进行调优，以在非Oracle情形下实现更快的收敛速度。
• 采用Hölder类光滑性假设来刻画CATE和干扰函数的正则性。
• 推导极小极大下界，并与上界进行比较，以评估所提估计器的最优性。

实验结果

研究问题

• RQ1 在何种条件下，双重稳健CATE估计器能够实现更快收敛速度的Oracle效率？
• RQ2 是否可以在不限制第一阶段或第二阶段方法的前提下，推广并收紧具有估计结果的回归的误差界？
• RQ3 所提出的lp-R-Learner估计器在非Oracle情形下是否为极小极大最优，特别是在CATE光滑但干扰函数不够光滑时？
• RQ4 所推导的lp-R-Learner的速率是否代表了在光滑性约束下CATE估计的基本统计极限？
• RQ5 通过利用协变量密度结构，是否可以缩小CATE估计速率与标准函数估计速率之间的差距？

主要发现

• DR-Learner在比以往建立的更弱的光滑性条件下实现了Oracle效率，尤其当CATE相对于干扰函数更光滑时。
• 在非Oracle情形下，lp-R-Learner实现了更快的收敛速率 $ n^{-3s/(2s + d(1 + s/\gamma))} $，该速率在特定光滑性条件下快于标准函数估计速率 $ n^{-4s/(4s + d)} $。
• 当 $ s \geq \frac{d/4}{1 + d/(2\gamma)} $ 时，lp-R-Learner可实现Oracle效率，该条件弱于DR-Learner所需条件。
• 第1节中推导的具有估计结果的回归误差界具有普遍性，适用于广泛估计器，为后续结果提供了基础。
• 本文推测所推导的速率是极小极大最优的，且速率 $ n^{-3s/(2s + d(1 + s/\gamma))} $ 接近非Oracle情形下的基本极限。
• 模拟与理论分析表明，利用协变量密度中的结构可获得更快的收敛速率，尽管实际效益取决于CATE与干扰函数光滑性之间的相互作用。