[论文解读] Multi-task Causal Learning with Gaussian Processes

Virginia Aglietti, Theodoros Damoulas+2 more|arXiv (Cornell University)|Sep 27, 2020

Gaussian Processes and Bayesian Inference参考文献 2被引用 4

一句话总结

该论文提出了一种基于高斯过程的多任务因果推断框架，用于在结构因果模型中估计多个干预下的干预分布。通过利用 do-演算和条件独立性，推导出一个统一的因果算子，实现通过共享潜在结构进行高效联合学习，显著提升了基线方法的估计精度。

ABSTRACT

This paper studies the problem of learning the correlation structure of a set of intervention functions defined on the directed acyclic graph (DAG) of a causal model. This is useful when we are interested in jointly learning the causal effects of interventions on different subsets of variables in a DAG, which is common in field such as healthcare or operations research. We propose the first multi-task causal Gaussian process (GP) model, which we call DAG-GP, that allows for information sharing across continuous interventions and across experiments on different variables. DAG-GP accommodates different assumptions in terms of data availability and captures the correlation between functions lying in input spaces of different dimensionality via a well-defined integral operator. We give theoretical results detailing when and how the DAG-GP model can be formulated depending on the DAG. We test both the quality of its predictions and its calibrated uncertainties. Compared to single-task models, DAG-GP achieves the best fitting performance in a variety of real and synthetic settings. In addition, it helps to select optimal interventions faster than competing approaches when used within sequential decision making frameworks, like active learning or Bayesian optimization.

研究动机与目标

• 开发一个统一的多任务因果推断框架，联合估计多个干预下的干预效应。
• 利用高斯过程对干预分布中的复杂非线性关系进行建模，同时保持结构一致性。
• 通过 do-演算推导出一个因果算子，实现在多个干预下的干预分布的精确计算。
• 通过共享相关干预之间的潜在结构，提升估计精度和样本效率。

提出的方法

• 该方法使用从 do-演算推导出的因果算子，将干预分布表示为反事实变量和潜在混杂因子的积分形式。
• 将干预函数 $ t_s(\mathbf{x}) = \mathbb{E}[Y \mid \text{do}(\mathbf{X}_s = \mathbf{x})] $ 建模为对干预集 $ \mathbf{I} $ 和 $ \mathbf{C}^N $ 上 do-干预的分层积分，辅以条件独立性假设。
• 该框架在干预函数上采用高斯过程先验，实现对复杂因果效应的非参数、灵活建模。
• 引入对集合 $ \mathbf{C} $ 的最小性条件，确保干预算子中仅包含必要的混杂因子。
• 通过条件独立性对未观测混杂因子 $ \mathbf{v}^N_s $ 和 $ \mathbf{c}^N_s $ 进行积分，简化干预下的期望计算。
• 因果算子表示为 $ \int f(\mathbf{v}, \mathbf{c}) p(\mathbf{c}^{I}_s|\mathbf{c}^{N}_s) p(\mathbf{v}^N_s, \mathbf{c}^N_s | \text{do}(\mathbf{X}_s = \mathbf{x})) d\mathbf{v}^N_s d\mathbf{c} $，实现可扩展的推理。

实验结果

研究问题

• RQ1 多任务高斯过程框架能否在结构因果模型中准确估计多个干预下的干预分布？
• RQ2 do-演算如何系统性地应用于推导统一的因果算子，以实现联合干预估计？
• RQ3 确保多个干预下干预分布可识别性的最小混杂因子集合 $ \mathbf{C} $ 是什么？
• RQ4 通过共享干预间的潜在结构，如何提升估计精度和样本效率？

主要发现

• 所提出的 $ \textsc{dag-gp}^+ $ 方法在所有合成 DAG 上的平均 RMSE 最低，当 $ N = 500 $ 时，$ \textsc{dag}1 $ 的 RMSE 为 0.48，$ \textsc{dag}3 $ 为 0.50，$ \textsc{dag}4 $ 为 0.09。
• 该方法显著优于标准 GP 和 do-演算基线方法，在 $ \textsc{dag}1 $ 和 $ \textsc{dag}3 $ 上 RMSE 降低 20-30%，在 $ \textsc{dag}4 $ 上降低 50%。
• 已证明集合 $ \mathbf{C} $ 的最小性：$ \text{Pa}(Y) $ 是满足可识别性条件的最小集合，确保不包含冗余混杂因子。
• 理论推导证实，因果算子在 do-演算规则下保持不变，确保了干预估计的正确性。
• 该框架在合成数据和医疗保健应用中成功处理了复杂非线性干预分布，表现出稳定的收敛性和低方差。