[论文解读] RealCause: Realistic Causal Inference Benchmarking

Brady Neal, Chin-Wei Huang+1 more|arXiv (Cornell University)|Nov 30, 2020

Bayesian Modeling and Causal Inference参考文献 40被引用 6

一句话总结

本文提出了 RealCause，一个基于灵活生成模型生成与真实世界数据难以区分的合成数据的现实因果推断基准，从而实现对真实因果效应的精确估计。通过在真实协变量上进行训练，并建模处理和结果的分布，RealCause 允许对超过1,500种因果估计器进行严格评估，表明基于预测性能的超参数选择在现实场景中是合理且有效的。

ABSTRACT

There are many different causal effect estimators in causal inference. However, it is unclear how to choose between these estimators because there is no ground-truth for causal effects. A commonly used option is to simulate synthetic data, where the ground-truth is known. However, the best causal estimators on synthetic data are unlikely to be the best causal estimators on real data. An ideal benchmark for causal estimators would both (a) yield ground-truth values of the causal effects and (b) be representative of real data. Using flexible generative models, we provide a benchmark that both yields ground-truth and is realistic. Using this benchmark, we evaluate over 1500 different causal estimators and provide evidence that it is rational to choose hyperparameters for causal estimators using predictive metrics.

研究动机与目标

• 为解决缺乏结合真实数据分布与真实因果效应的基准以评估因果估计器的问题。
• 通过生成具有已知因果效应的合成数据，克服因果推断的根本性问题——缺乏观测到的潜在结果。
• 在具有不同程度重叠和混杂的多样化数据分布中，评估超过1,500种因果估计器的性能。
• 探究预测性能度量是否能可靠地指导因果估计器的超参数选择。
• 提供一个开源基准，用于基于预测度量预测因果估计器的性能。

提出的方法

• 在真实预处理协变量 $W$ 上训练生成模型 $P_{\text{model}}(T|W)$ 和 $P_{\text{model}}(Y|T,W)$，以匹配真实数据分布 $P(T|W)$ 和 $P(Y|T,W)$。
• 通过从真实数据中采样 $W$，然后从 $P_{\text{model}}(T|W)$ 采样 $T$，再从 $P_{\text{model}}(Y|T,W)$ 采样 $Y$ 的方式生成合成数据。
• 利用拟合的模型计算干预分布 $P_{\text{model}}(Y|\mathrm{do}(T=1),W)$ 和 $P_{\text{model}}(Y|\mathrm{do}(T=0),W)$，从而获得真实平均处理效应（ATE）。
• 使用具有已知 ATE 的合成数据评估多种因果估计器——包括标准化法、分层标准化法和逆概率加权法。
• 使用结果和倾向得分模型的预测度量（如均方误差、平衡准确率）来指导因果估计器的超参数选择。
• 在多个数据集上训练并评估超过1,500种结果模型（如线性回归、SVM、随机森林）和倾向得分模型（如逻辑回归、kNN、QDA）的组合。

实验结果

研究问题

• RQ1 能否构建一个既具备现实性又可提供真实因果效应的合成基准，以用于评估因果估计器？
• RQ2 在现实数据设置中，结果和倾向得分模型的预测性能是否与因果估计准确性相关？
• RQ3 在具有不同重叠程度和混杂程度的多样化数据分布中，哪些因果估计器家族表现最佳？
• RQ4 在因果推断中，是否合理地使用预测度量进行超参数选择，如同在监督机器学习中一样？
• RQ5 一个单一基准能否在多个类似现实世界的分布中可靠地对因果估计器进行排序？

主要发现

• RealCause 能够生成在统计上与真实数据无法区分的合成数据，同时提供真实因果效应，满足所有四项理想基准标准：真实因果效应、现实性、无未观测混杂和多样化数据分布。
• 该基准使我们能够在多个数据集上评估超过1,500种因果估计器配置，揭示了其性能随数据特征（如重叠程度和混杂程度）变化的差异。
• 有强有力的实证证据表明，基于预测度量（如均方误差、平衡准确率）的超参数选择可显著提升因果估计器的性能，支持采用机器学习风格的方法进行因果超参数调优。
• 在倾向得分估计良好的情况下，经过修剪和稳定化的逆概率加权（IPW）估计器在多个数据集中表现优异。
• 当结果模型校准良好时，标准化法和分层标准化法表现强劲，其中分层标准化法（T-learner）在异质处理效应场景下通常优于标准化法（S-learner）。
• 开源的 RealCause 基准包含一个数据集，链接了结果模型和倾向得分模型的预测性能与最终因果估计器性能之间的关系，使未来可基于预测度量进行模型选择成为可能。