[论文解读] Validating Causal Inference Methods

Harsh Parikh, Carlos Varjao+2 more|arXiv (Cornell University)|Feb 9, 2022

Advanced Causal Inference Techniques被引用 10

一句话总结

本文提出 Credence，一种基于深度生成模型的框架，可生成与真实观测数据难以区分的合成数据，同时允许用户指定真实处理效应和混淆偏差。该框架通过模拟用户定义的数据生成过程，实现对因果推断方法的准确基准测试，在模拟和真实数据集中均表现出色，能够有效恢复接近最优估计器的排序结果。

ABSTRACT

The fundamental challenge of drawing causal inference is that counterfactual outcomes are not fully observed for any unit. Furthermore, in observational studies, treatment assignment is likely to be confounded. Many statistical methods have emerged for causal inference under unconfoundedness conditions given pre-treatment covariates, including propensity score-based methods, prognostic score-based methods, and doubly robust methods. Unfortunately for applied researchers, there is no `one-size-fits-all' causal method that can perform optimally universally. In practice, causal methods are primarily evaluated quantitatively on handcrafted simulated data. Such data-generative procedures can be of limited value because they are typically stylized models of reality. They are simplified for tractability and lack the complexities of real-world data. For applied researchers, it is critical to understand how well a method performs for the data at hand. Our work introduces a deep generative model-based framework, Credence, to validate causal inference methods. The framework's novelty stems from its ability to generate synthetic data anchored at the empirical distribution for the observed sample, and therefore virtually indistinguishable from the latter. The approach allows the user to specify ground truth for the form and magnitude of causal effects and confounding bias as functions of covariates. Thus simulated data sets are used to evaluate the potential performance of various causal estimation methods when applied to data similar to the observed sample. We demonstrate Credence's ability to accurately assess the relative performance of causal estimation techniques in an extensive simulation study and two real-world data applications from Lalonde and Project STAR studies.

研究动机与目标

• 解决现实世界观察性研究中因果推断方法缺乏可靠、数据特定评估工具的问题。
• 克服传统模拟数据过于简化的局限性，这些数据往往无法反映真实数据的复杂性。
• 开发一种框架，生成几乎与观测数据无法区分的合成数据，同时嵌入已知的因果效应和混淆结构。
• 使应用研究人员能够通过模拟在现实数据生成过程下的性能，评估并选择最适合其特定数据的因果估计方法。
• 提供一种灵活、用户可控的验证工具，支持在不同假设下的敏感性分析和方法基准测试。

提出的方法

• Credence 使用深度生成模型——特别是变分自编码器——从观测数据中学习数据生成过程（DGP），生成在统计上与原始数据无法区分的合成数据。
• 用户指定真实处理效应函数 $ f(\cdot) $ 和混淆偏差函数 $ g(\cdot) $ 作为协变量的函数，将真实因果效应嵌入合成数据中。
• 该框架确保合成数据保留观测数据的经验分布，维持真实的边际和联合协变量分布。
• 在合成数据上评估因果推断方法，以衡量其相对于已知真实 DGP 的最优估计器的性能。
• 推荐两种基于策略的方法来选择 $ f(\cdot) $ 和 $ g(\cdot) $：(1) 从观测数据中估计遗漏变量偏差以设定 $ g $，(2) 在函数类别中进行极小化-最大化搜索，以测试鲁棒性。
• 通过允许用户改变对未测量混淆、干扰和测量误差的假设，支持敏感性分析。

实验结果

研究问题

• RQ1 深度生成模型在多大程度上能够生成在统计上与真实观察性数据无法区分的合成数据？
• RQ2 具有用户指定处理效应和混淆偏差的合成数据，能否准确恢复因果估计器的性能排序，如同已知真实 DGP 的最优估计器一般？
• RQ3 在真实性和方法选择准确性方面，Credence 与传统基于模拟的评估方法相比表现如何？
• RQ4 在实践中，哪些有效策略可用于指定处理效应和混淆函数，以确保有意义的基准测试？
• RQ5 Credence 在多大程度上能够支持在不同识别假设下对因果推断方法的敏感性分析？

主要发现

• Credence 生成的合成数据在统计特性与分布特征方面，几乎与原始观测数据无法区分。
• 当与已知真实数据生成过程的最优估计器比较时，该框架能够准确恢复因果推断估计器的相对性能排序。
• 在广泛模拟和真实世界应用（Lalonde 和 Project STAR）中，Credence 在指定 DGP 假设下始终能识别出表现最佳的因果方法。
• 利用观测数据估计最大遗漏变量偏差，有效实现了混淆偏差函数 $ g(\cdot) $ 的指定，提升了合成数据生成的真实性。
• 针对对抗性 $ f(\cdot) $ 和 $ g(\cdot) $ 函数的极小化-最大化策略揭示了不同方法的特定弱点，提升了鲁棒性评估效果。
• Credence 的评估依赖于用户指定的假设；因此，其诊断能力取决于这些假设的保真度，特别是关于未测量混淆和测量误差的假设。