[论文解读] Removing Hidden Confounding by Experimental Grounding

Nathan Kallus, Aahlad Puli+1 more|arXiv (Cornell University)|Oct 27, 2018

Advanced Causal Inference Techniques参考文献 12被引用 31

一句话总结

本文提出一种两步法，利用有限的实验数据校正基于更大规模观察数据集训练的因果效应模型中的隐藏混杂因素，即使实验数据与观察数据重叠极少亦可实现。通过假设隐藏混杂函数为参数化且可外推，该方法结合了偏差较小但方差较低的观察估计器与无偏但方差较高的实验估计器，从而生成一致且低偏差的CATE估计，其在模拟实验和真实教育数据中均优于标准方法。

ABSTRACT

Observational data is increasingly used as a means for making individual-level causal predictions and intervention recommendations. The foremost challenge of causal inference from observational data is hidden confounding, whose presence cannot be tested in data and can invalidate any causal conclusion. Experimental data does not suffer from confounding but is usually limited in both scope and scale. We introduce a novel method of using limited experimental data to correct the hidden confounding in causal effect models trained on larger observational data, even if the observational data does not fully overlap with the experimental data. Our method makes strictly weaker assumptions than existing approaches, and we prove conditions under which it yields a consistent estimator. We demonstrate our method's efficacy using real-world data from a large educational experiment.

研究动机与目标

• 解决观察性因果推断中隐藏混杂的问题，即未测量因素导致处理效应估计产生偏差。
• 在观察数据存在混杂但样本量大，而实验数据无混杂但样本量小且可能不重叠的情况下，实现个体层面因果效应估计（CATE）的准确性。
• 开发一种假设条件严格弱于现有方法的方法——具体而言，仅假设隐藏混杂函数为参数化且可外推，而非要求所有混杂因素均被观测到。
• 通过大规模随机对照试验的真实教育数据，证明该方法的一致性与实证优越性。

提出的方法

• 该方法采用两步程序：首先，利用实验数据估计隐藏混杂的参数化校正函数，假设该函数可外推至观察人群。
• 其次，将此校正应用于在观察数据上训练的CATE模型，从而有效调整未测量的混杂因素。
• 该方法结合了来自观察数据的低方差偏差估计器与来自实验数据的无偏但可能高方差的估计器，实现了偏差与方差的一致性。
• 其依赖于假设隐藏混杂函数属于一个包含零函数的参数族，这一假设弱于假设所有混杂因素均被观测到。
• 该方法通过回归模型（如随机森林、岭回归）实现校正函数与CATE的估计，并在观察数据中一个未混杂的保留子集上进行评估。
• 该方法使用来自大规模随机对照试验的真实数据集进行评估，该试验研究班级规模与助教对学生成绩的影响，其中总体的因果效应已知。

实验结果

研究问题

• RQ1 当观察数据因未测量变量而存在混杂时，是否仍能一致地估计个体层面的因果效应（CATE），即使实验数据与观察人群的重叠极小？
• RQ2 假设隐藏混杂函数为参数化且可外推，是否能产生比要求完全观测混杂因素的方法更具鲁棒性与一致性的估计器？
• RQ3 与标准基线方法（如直接对实验数据进行回归或忽略观察数据中的混杂）相比，该方法在估计准确性和一致性方面表现如何？
• RQ4 该方法是否能有效利用小规模实验样本，校正大规模观察数据集中显著的隐藏混杂所导致的偏差？

主要发现

• 所提出的两步法（包括两步随机森林与两步岭回归变体）在保留的未混杂观察子集上估计真实CATE时，始终优于基线方法。
• 该方法的RMSE显著低于基线方法，如直接对实验数据进行回归或使用差异均值模型，尤其当未混杂实验样本规模增大时更为明显。
• 即使实验数据（UNC）与观察数据（CONF）重叠极少——例如UNC仅覆盖农村或城市中心学生，而CONF包含城市及郊区学生——该方法仍保持有效。
• 该方法成功校正了由于观察数据中高分学生被选择性地从处理组中剔除而引起的处理效应估计的向下偏差。
• 该方法在不同回归模型（随机森林与岭回归）下表现稳健，且在所有测试配置中均一致优于基线方法。
• 该方法表现出一致性：随着未混杂实验样本规模的增加，估计误差（RMSE）持续下降，证实了估计器的理论一致性。