[论文解读] Using Experiments to Correct for Selection in Observational Studies

Susan Athey, Raj Chetty+1 more|arXiv (Cornell University)|Jun 17, 2020

Advanced Causal Inference Techniques被引用 25

一句话总结

本文提出一种方法，结合实验数据与观察性数据，以估计长期治疗效果，当仅观察性数据包含主要结局时。通过利用两种样本在短期次要结局上治疗效果的差异，该方法运用控制函数技术校正观察性数据中未观测到的混杂因素，从而实现对长期结局的可信因果推断。

ABSTRACT

Researchers increasingly have access to two types of data: (i) large observational datasets where treatment (e.g., class size) is not randomized but several primary outcomes (e.g., graduation rates) and secondary outcomes (e.g., test scores) are observed and (ii) experimental data in which treatment is randomized but only secondary outcomes are observed. We develop a new method to estimate treatment effects on primary outcomes in such settings. We use the difference between the secondary outcome and its predicted value based on the experimental treatment effect to measure selection bias in the observational data. Controlling for this estimate of selection bias yields an unbiased estimate of the treatment effect on the primary outcome under a new assumption that we term latent unconfoundedness, which requires that the same confounders affect the primary and secondary outcomes. Latent unconfoundedness weakens the assumptions underlying commonly used surrogate estimators. We apply our estimator to identify the effect of third grade class size on students outcomes. Estimated impacts on test scores using OLS regressions in observational school district data have the opposite sign of estimates from the Tennessee STAR experiment. In contrast, selection-corrected estimates in the observational data replicate the experimental estimates. Our estimator reveals that reducing class sizes by 25% increases high school graduation rates by 0.7 percentage points. Controlling for observables does not change the OLS estimates, demonstrating that experimental selection correction can remove biases that cannot be addressed with standard controls.

研究动机与目标

• 解决仅观察性数据包含感兴趣主要结局时估计长期因果效应的挑战。
• 通过利用实验数据在次要短期结局上的结果，校正观察性研究中的未观测混杂因素。
• 结合实验的内部有效性与大规模观察性行政数据的外部代表性及丰富性。
• 开发一种统计框架，通过利用实验与观察性样本在次要结局上治疗效果的差异，识别长期治疗效应。
• 提供一种方法，在保持实验估计可信度的同时，将其外部有效性扩展至更广泛人群的长期结果。

提出的方法

• 该方法假设实验样本具有内部与外部有效性，而观察性样本可能受到未观测混杂因素的影响。
• 利用实验样本估计治疗对次要（短期）结局的因果效应，假设实验环境中满足无混杂性。
• 实验与观察性样本在次要结局上估计的治疗效应差异，被解释为观察性样本中存在未观测混杂因素的证据。
• 采用控制函数方法，将次要结局效应的差异用作构建函数的依据，以调整观察性样本中主要结局的估计。
• 通过同时使用两个样本，建模主要结局的条件期望，给定次要结局和可观测协变量，实现长期治疗效应的识别。
• 识别依赖于条件外部有效性和潜在无混杂性假设，允许通过次要结局利用实验数据来指导观察性估计。

实验结果

研究问题

• RQ1 当主要结局仅在观察性样本中观测到时，如何结合实验与观察性数据以估计长期因果效应？
• RQ2 实验与观察性样本在次要（短期）结局上治疗效应的差异，在检测未观测混杂因素中起什么作用？
• RQ3 能否利用实验数据对次要结局治疗效应的估计，来校正观察性研究中长期结局的选择偏差？
• RQ4 在何种假设下，可以利用实验与观察性数据的组合识别长期治疗效应？
• RQ5 如何确保所得估计量在观察性样本中未观测混杂因素存在时仍具一致性和稳健性？

主要发现

• 该方法成功利用实验数据（Project STAR）中三年级测试成绩的结果，识别出纽约州八年级测试成绩的长期治疗效应。
• 在实验样本中，班级规模减小对三年级成绩的影响估计为正且显著（0.181），但在观察性样本中为负（-0.087），表明观察性数据中存在强烈的未观测混杂因素证据。
• 通过利用次要结局效应的差异构建控制函数，调整主要结局估计，从而减少未观测混杂因素带来的偏差。
• 在条件外部有效性与潜在无混杂性假设下，该方法实现了长期治疗效应的识别。
• 当假设实验样本具有外部有效性时，该方法对人群特征差异具有稳健性。
• 实证应用表明，经校正后的班级规模对八年级测试成绩影响的估计值，与原始观察性估计值存在显著差异，凸显了校正选择偏差的重要性。