[论文解读] Sensitivity Analysis of Individual Treatment Effects: A Robust Conformal Inference Approach

Ying Jin, Zhimei Ren+1 more|arXiv (Cornell University)|Nov 23, 2021

Advanced Causal Inference Techniques参考文献 42被引用 4

一句话总结

本文提出了一种无需模型的、基于合情推理的框架，用于在存在未观测混杂因素的情况下对个体处理效应（ITEs）进行敏感性分析。该方法引入了\Gamma-值——即解释一个正向ITE所需的最小混杂强度——确保在存在混杂因素时，反事实预测仍具有有效的边际覆盖，且在边际敏感性模型下具有理论保证。

ABSTRACT

We propose a model-free framework for sensitivity analysis of individual treatment effects (ITEs), building upon ideas from conformal inference. For any unit, our procedure reports the $Γ$-value, a number which quantifies the minimum strength of confounding needed to explain away the evidence for ITE. Our approach rests on the reliable predictive inference of counterfactuals and ITEs in situations where the training data is confounded. Under the marginal sensitivity model of Tan (2006), we characterize the shift between the distribution of the observations and that of the counterfactuals. We first develop a general method for predictive inference of test samples from a shifted distribution; we then leverage this to construct covariate-dependent prediction sets for counterfactuals. No matter the value of the shift, these prediction sets (resp. approximately) achieve marginal coverage if the propensity score is known exactly (resp. estimated). We describe a distinct procedure also attaining coverage, however, conditional on the training data. In the latter case, we prove a sharpness result showing that for certain classes of prediction problems, the prediction intervals cannot possibly be tightened. We verify the validity and performance of the new methods via simulation studies and apply them to analyze real datasets.

研究动机与目标

• 开发一种在存在未观测混杂因素时对个体处理效应（ITEs）进行敏感性分析的无模型框架。
• 通过识别使正向ITE预测失效所需的最小混杂强度，量化ITE推断的稳健性。
• 确保在由于混杂导致的分布变化下，反事实和ITE的预测区间的有效边际覆盖。
• 提供一种即使在倾向得分被估计而非精确已知时也能保持有效推断的程序。
• 提供一个紧致性结果，表明在某些条件下，预测区间无法进一步收紧。

提出的方法

• 使用边际敏感性模型（Tan, 2006）来刻画在存在未观测混杂因素时，观测分布与反事实分布之间的变化。
• 开发一种在分布变化下进行预测推断的一般方法，使测试样本的反事实预测更加可靠。
• 构建基于协变量的反事实和ITE的预测集合，在倾向得分被估计时实现近似边际覆盖。
• 采用合情推理生成在假设的分布变化模型下具有有效性的预测区间，并提供覆盖的理论保证。
• 提出一种独立程序，实现在训练数据条件下的条件覆盖，并证明预测区间最优性的紧致性结果。
• 利用最坏情况的分布变化来计算反事实期望的紧致边界，从而在不确定性下实现稳健推断。

实验结果

研究问题

• RQ1 我们如何评估在观察性研究中，个体处理效应估计对未观测混杂因素的稳健性？
• RQ2 对于给定个体，使正向ITE预测失效所需的未观测混杂的最小强度是多少？
• RQ3 当训练数据存在混杂且忽略性假设不成立时，能否为反事实和ITE构建有效的预测区间？
• RQ4 所提出的方法如何在倾向得分被估计时保持覆盖性？预测区间紧致性的理论极限是什么？
• RQ5 该框架能否扩展至对多个ITEs的联合推断并实现适当的误差控制？

主要发现

• 在关于思维模式干预的真实数据集中，20.46%的处理测试样本的\Gamma-值大于1，表明在轻微混杂下存在对正向ITE的稳健证据。
• 在\Gamma=2时，仅有6.80%的处理测试样本的\Gamma-值超过2，表明在中等混杂下，正向ITE的强证据依然存在。
• 使用算法1时，2%的测试样本的\Gamma-值大于5；使用算法2时，2.5%的样本\Gamma-值超过10，表明该方法对部分个体具有极强的稳健性。
• 该方法保证，在混杂强度为\Gamma时，错误地将负向ITE分类为正向的概率被\alpha=0.1所限制。
• 实证评估显示，在\Gamma=1时，仅有3.58%的处理测试样本被错误分类为具有正向ITE，且在更高\Gamma水平下错误率仅略有上升。
• 算法2提供了略强的证据以反驳混杂因素的影响，但其稳定性略低于算法1，且两种方法在理论保证下均保持了有效的覆盖。