[论文解读] Variational Causal Networks: Approximate Bayesian Inference over Causal Structures

Yashas Annadani, Jonas Rothfuss+5 more|arXiv (Cornell University)|Jun 14, 2021

Bayesian Modeling and Causal Inference参考文献 33被引用 9

一句话总结

本文提出变分因果网络（VCN），一种用于结构因果模型（SCMs）中因果结构的近似贝叶斯推理的变分推理框架。通过使用LSTM对邻接矩阵建模变分后验为自回归分布，VCN能够高效捕捉DAG上的多模态后验分布，在合成数据集和真实世界数据集（包括Dream4基因调控挑战）上实现了不确定性估计和因果结构恢复的最先进性能。

ABSTRACT

Learning the causal structure that underlies data is a crucial step towards robust real-world decision making. The majority of existing work in causal inference focuses on determining a single directed acyclic graph (DAG) or a Markov equivalence class thereof. However, a crucial aspect to acting intelligently upon the knowledge about causal structure which has been inferred from finite data demands reasoning about its uncertainty. For instance, planning interventions to find out more about the causal mechanisms that govern our data requires quantifying epistemic uncertainty over DAGs. While Bayesian causal inference allows to do so, the posterior over DAGs becomes intractable even for a small number of variables. Aiming to overcome this issue, we propose a form of variational inference over the graphs of Structural Causal Models (SCMs). To this end, we introduce a parametric variational family modelled by an autoregressive distribution over the space of discrete DAGs. Its number of parameters does not grow exponentially with the number of variables and can be tractably learned by maximising an Evidence Lower Bound (ELBO). In our experiments, we demonstrate that the proposed variational posterior is able to provide a good approximation of the true posterior.

研究动机与目标

• 为解决从有限观测数据中量化因果结构学习中的认知不确定性这一挑战。
• 开发一种可扩展且可计算的结构因果模型（SCMs）贝叶斯推理框架，其中真实DAG后验分布难以计算。
• 使用参数化变分族建模因果图上的复杂、多模态后验分布，同时避免参数数量的指数级增长。
• 在数据有限的场景下，实现不确定性感知的干预选择和因果效应估计。
• 为MCMC和基于自助法的方法提供一种实用且可学习的替代方案，用于因果结构推理。

提出的方法

• 提出一种用于贝叶斯因果结构学习的变分推理框架，使用证据下界（ELBO）来优化变分后验。
• 引入一种基于DAG邻接矩阵的自回归变分族，通过LSTM参数化以建模边之间的依赖关系。
• 将DAG上的联合分布建模为边存在性决策的序列，通过自回归顺序确保无环性。
• 使用DAG约束的可微松弛方法，实现通过反向传播进行端到端训练。
• 采用基于评分的目标函数来优化变分近似，平衡真实后验的保真度与计算效率。
• 将方法应用于带加性噪声的线性SCMs，实现对边存在性和因果效应的不确定性量化。

实验结果

研究问题

• RQ1 变分推理框架能否有效近似因果DAG上难以计算的后验分布？
• RQ2 自回归变分族在多模态且不可识别的因果结构后验中，其建模能力如何？
• RQ3 与因子化变分族及现有基线方法相比，所提出的VCN方法在因果发现任务中的结构汉明距离（SHD）和AUROC指标上是否表现更优？
• RQ4 在样本量有限的场景下，该模型能否为干预选择和因果效应估计提供可靠的不确定性估计？
• RQ5 与MCMC和基于自助法的方法相比，该方法在性能和运行时间上的可扩展性如何？

主要发现

• 在小图（d ≤ 4）上，使用自回归变分族的VCN相比因子化基线方法，与真实后验的Hellinger距离显著更低，表明其近似质量更优。
• 在10和20个节点的Erdős–Rényi随机图上，VCN在所有基线方法中实现了最低的期望结构汉明距离（SHD），尤其在仅10个样本时表现突出。
• 在Dream4基因表达数据集中，VCN的AUROC达到0.519 ± 0.03，优于IMAP MCMC（0.438 ± 0.02）、Boot Notears（0.330）和因子化基线（0.489 ± 0.01）。
• VCN比基于自助法的DAG Bootstrap和IMAP MCMC等方法更快，同时保持了相当或更优的性能，适用于真实世界应用。
• 自回归VCN模型比因子化近似方法更有效地捕捉多模态后验分布，后者无法建模边之间的依赖关系。
• 尽管在Dream4数据集中存在模型误设（真实图非DAG），VCN仍表现出强劲性能，表明其对现实世界数据挑战具有鲁棒性。