[论文解读] Sensitivity Analysis in the Generalization of Experimental Results

Yingyu Huang|arXiv (Cornell University)|Feb 7, 2022

Advanced Causal Inference Techniques被引用 8

一句话总结

本文提出了一种三参数敏感性分析框架，用于使用加权估计量评估将随机实验因果效应推广到目标人群时的偏差。该框架将偏差分解为有界且可解释的组成部分——协变量不平衡、处理效应异质性和选择倾向性，从而在不依赖参数假设的情况下实现稳健性检验，并在JTPA数据中的应用显示，与奥马哈相比，科珀斯克里斯蒂的敏感性更高。

ABSTRACT

Randomized controlled trials (RCT's) allow researchers to estimate causal effects in an experimental sample with minimal identifying assumptions. However, to generalize or transport a causal effect from an RCT to a target population, researchers must adjust for a set of treatment effect moderators. In practice, it is impossible to know whether the set of moderators has been properly accounted for. In the following paper, I propose a three parameter sensitivity analysis for generalizing or transporting experimental results using weighted estimators, with several advantages over existing methods. First, the framework does not require assumptions on the underlying data generating process for either the experimental sample selection mechanism or treatment effect heterogeneity. Second, I show that the sensitivity parameters are guaranteed to be bounded and propose several tools researchers can use to perform sensitivity analysis: (1) graphical and numerical summaries for researchers to assess how robust a point estimate is to killer confounders; (2) an extreme scenario analysis; and (3) a formal benchmarking approach for researchers to estimate potential sensitivity parameter values using existing data. Finally, I demonstrate that the proposed framework can be easily extended to the class of doubly robust, augmented weighted estimators. The sensitivity analysis framework is applied to a set of Jobs Training Program experiments.

研究动机与目标

• 为解决在将随机试验结果推广到目标人群时未观测混杂因素的挑战。
• 开发一种不依赖于数据生成过程参数假设的敏感性分析框架。
• 提供有界且可解释的敏感性参数，以评估在可推广性情境下加权估计量的稳健性。
• 使研究人员能够利用现有数据对潜在混杂因素的影响进行基准比较。
• 将该框架扩展至双重稳健和增强加权估计量，以提升推断能力。

提出的方法

• 将加权估计量中的偏差分解为三个有界组成部分：协变量不平衡（R²ε）、处理效应异质性（ρε,τ）和选择倾向性（kσ）。
• 采用正式的基准比较方法，利用观测协变量作为代理，估计敏感性参数的合理取值。
• 使用图形和数值工具，包括偏差等高线图和极端情景分析，可视化对未观测混杂因素的敏感性。
• 引入最小所需混杂因子强度（MRCS）度量，量化使点估计值反转所需的未观测混杂因子的强度。
• 将该框架应用于双重稳健和增强加权估计量，以提升稳健性和效率。
• 使用来自就业培训计划（JTPA）的实际数据，展示该方法在不同地点的实际应用价值。

Figure 1: Bias Contour Plot for Omaha, Nebraska. The blue region represents the killer confounder region. Whether or not the killer confounder region is large or small (and by extension, the robustness value) can be difficult to justify. To aid in our discussion, we use formal benchmarking (introduc

实验结果

研究问题

• RQ1 研究人员如何在不假设特定数据生成过程的前提下，评估点估计值对未观测混杂因素的稳健性？
• RQ2 哪些有界且可解释的参数能够捕捉在可推广性情境下遗漏处理效应调节因子所引入的偏差？
• RQ3 研究人员如何利用来自实验人群和目标人群的现有数据，对敏感性参数的合理取值进行基准比较？
• RQ4 点估计值对未观测混杂因素的敏感性在不同实验地点之间有多大差异？这种差异如何量化？
• RQ5 所提出的敏感性分析能否扩展至双重稳健和增强加权估计量，以改善推断？

主要发现

• 所提出的敏感性参数——R²ε、ρε,τ 和 kσ——均有界，使研究人员能够在固定且可解释的范围内评估稳健性。
• 在JTPA的应用中，德克萨斯州科珀斯克里斯蒂的敏感性显著高于内布拉斯加州奥马哈，MRCS分别为1.52和9.31。
• 正式基准比较显示，若存在与‘西班牙裔’或‘黑人’种族相似强度的混杂因子，其在科珀斯克里斯蒂可能使点估计值降至接近零。
• 偏差等高线图直观证实，科珀斯克里斯蒂的‘杀手级’混杂因子区域明显大于奥马哈，表明其对未观测混杂因素更具脆弱性。
• 科珀斯克里斯蒂的加权估计量比奥马哈具有更高的偏差潜力，与基准比较和等高线图结果一致。
• 科珀斯克里斯蒂的点估计值0.73不如基准PATE值1.37可靠，表明其在可推广性方面存在更大的不确定性。

Figure 3: Bias Contour Plot for Omaha, Nebraska, using an Augmented Weighted Estimator. Akin to Figure 1 , the shaded blue region represents the killer confounder region, for which a confounder will result in a directional change of the point estimate. We also plot the formal benchmarking results. W