[论文解读] Towards causality-aware predictions in static machine learning tasks: the linear structural causal model case

Elias Chaibub Neto|arXiv (Cornell University)|Jan 12, 2020

Bayesian Modeling and Causal Inference参考文献 61被引用 6

一句话总结

本文提出了一种反事实训练方法，用于静态反因果机器学习任务中的因果感知预测模型，其中结果影响特征。通过模拟仅保留所需因果关联的特征（利用已知的混杂因子或中介变量），该方法即使在缺乏完整因果图的情况下，也能实现无混杂影响的预测，或聚焦于直接/间接效应，且在线性模型中具有解析结果。

ABSTRACT

We propose a counterfactual approach to train ``causality-aware predictive models that are able to leverage causal information in static anticausal machine learning tasks (i.e., prediction tasks where the outcome influences the features). In applications plagued by confounding, the approach can be used to generate predictions that are free from the influence of observed confounders. In applications involving observed mediators, the approach can be used to generate predictions that only capture the direct or the indirect causal influences. Mechanistically, we train supervised learners on (counterfactually) simulated features which retain only the associations generated by the causal relations of interest. We focus on linear models, where analytical results connecting covariances, causal effects, and prediction mean squared errors are readily available. Quite importantly, we show that our approach does not require knowledge of the full causal graph. It suffices to know which variables represent potential confounders and/or mediators. We discuss the stability of the method with respect to dataset shifts generated by selection biases and validate the approach using synthetic data experiments.

研究动机与目标

• 解决静态反因果机器学习任务中混杂与中介带来的挑战，其中结果影响特征。
• 开发一种方法，使预测模型能够在不依赖完整因果图的情况下，隔离特定的因果效应（直接或间接）。
• 通过在反事实模拟特征上进行训练，使预测结果对选择偏差和数据集分布漂移具有鲁棒性。
• 在线性结构因果模型中，建立协方差、因果效应与预测误差之间的解析联系。
• 证明仅需掌握混杂因子和中介变量的知识，而无需完整的因果结构。

提出的方法

• 在仅保留感兴趣因果关联的反事实模拟特征上训练监督学习模型。
• 使用线性结构因果模型（SCM）解析推导协方差、因果效应与预测均方误差之间的关系。
• 通过调整观测到的混杂因子或对中介变量进行条件化，模拟特征以隔离直接或间接效应。
• 对特征施加反事实干预，使得训练数据中仅保留在意的因果路径。
• 通过利用反事实特征生成，确保方法在由选择偏差引起的数据集分布漂移下保持稳定。
• 无需完整因果图——仅需识别混杂因子和中介变量即可。

实验结果

研究问题

• RQ1 反事实特征模拟能否在反因果任务中生成不受观测混杂因子影响的预测模型？
• RQ2 当观测到中介变量时，如何训练预测模型以隔离直接或间接因果效应？
• RQ3 由于选择偏差引起的数据集分布漂移对因果感知预测的稳定性有何影响？
• RQ4 在所提方法下，线性SCM中协方差、因果效应与预测误差之间有何关系？
• RQ5 当仅掌握部分因果结构知识（混杂因子/中介变量）时，该方法的鲁棒性如何？

主要发现

• 所提方法成功生成了在反因果设置下不受观测混杂因子影响的预测结果。
• 通过在仅保留相关因果路径的反事实模拟特征上进行训练，该方法能够有效隔离直接或间接因果效应。
• 通过合成实验验证，该方法在由选择偏差引起的数据集分布漂移下仍保持稳定。
• 在线性SCM设定下，推导并验证了协方差、因果效应与预测均方误差之间的解析关系。
• 该方法无需完整因果图知识——仅需识别混杂因子和中介变量即可实现有效训练。
• 合成数据实验证实，该方法在存在混杂与中介的情况下，能够生成准确且具有因果可解释性的预测结果。