[论文解读] Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory to Learning Algorithms

Alicia Curth, Mihaela van der Schaar|arXiv (Cornell University)|Jan 26, 2021

Advanced Causal Inference Techniques参考文献 33被引用 31

一句话总结

论文提供了对四种用于CATE估计的元学习器的理论分类与分析（一个一步插件和三个两步学习器：RA、PW、DR），并在合成数据和类似 IHDP 的数据上评估了用于无关项估计的神经网络架构。

ABSTRACT

The need to evaluate treatment effectiveness is ubiquitous in most of empirical science, and interest in flexibly investigating effect heterogeneity is growing rapidly. To do so, a multitude of model-agnostic, nonparametric meta-learners have been proposed in recent years. Such learners decompose the treatment effect estimation problem into separate sub-problems, each solvable using standard supervised learning methods. Choosing between different meta-learners in a data-driven manner is difficult, as it requires access to counterfactual information. Therefore, with the ultimate goal of building better understanding of the conditions under which some learners can be expected to perform better than others a priori, we theoretically analyze four broad meta-learning strategies which rely on plug-in estimation and pseudo-outcome regression. We highlight how this theoretical reasoning can be used to guide principled algorithm design and translate our analyses into practice by considering a variety of neural network architectures as base-learners for the discussed meta-learning strategies. In a simulation study, we showcase the relative strengths of the learners under different data-generating processes.

研究动机与目标

• 评估不同用于CATE估计的元学习器在何种条件下表现更好。
• 将CATE元学习器分类为有意义的类别，以指导算法设计。
• 研究在元学习器框架内用于无关项估计的神经网络架构。
• 提供实际实现与仿真，比较在各种数据生成过程下的学习器。

提出的方法

• 引入一个四类元学习器的分类法：一个一步插件和三个两步学习器（RA、PW、DR）。
• 在具有光滑性假设的非参数回归下，为每个学习器推导理论误差界和剩余项。
• 分析渐近和有限样本行为，突出在何时 DR 和 PW 可能达到 oracle 速率。
• 提出并评估基于神经网络的无关项估计器，包括一个统一现有 SNet 变体和 TNet 的通用 SNet 架构。
• 提供 CATENets 及相关架构的公开代码实现。

实验结果

研究问题

• RQ1 相对于 plug-in 学习器，RA-、PW-、DR-元学习器的理论性质（速率与剩余项）是什么？
• RQ2 在哪些数据生成条件下，DR 与 PW 学习器在渐近和有限样本中优于 plug-in 或 RA 学习器？
• RQ3 用于无关项估计的神经网络架构如何影响 CATE 元学习器的性能？
• RQ4 是否有一个统一的 SNet 架构能在不同 DGPs 下超越专用的 SNet 变体和 TNet？
• RQ5 重叠、混杂和处理效应稀疏性如何影响估计器性能？

主要发现

• 在存在混杂且处理效应为零的情况下，DR-learner 往往实现更好的有限样本性能。
• 当存在混杂且处理效应非平凡时，RA-learner 可以优于其他方法。
• PW-learner 通常在所考虑的情形下方差高、表现较差。
• 一步插件估计量在渐近意义上可以赶上两步学习器，当无关函数同样复杂时。
• 一个共享表示的通用 SNet 架构可以超越或匹配专用架构，取决于 DGP 和样本量。
• 两步学习器在小样本中可能方差更高，使得 RA- 与 DR-learner 主要在更大样本或合适的情形下具有优势。