[论文解读] Towards Scalable Bayesian Learning of Causal DAGs

Jussi Viinikka, Antti Hyttinen+2 more|arXiv (Cornell University)|Sep 30, 2020

Bayesian Modeling and Causal Inference参考文献 22被引用 4

一句话总结

本文提出 Gadget，一种用于贝叶斯结构学习的可扩展马尔可夫链蒙特卡洛（MCMC）方法，适用于因果DAG；以及 Beeps，一种新颖的贝叶斯方法，用于线性高斯模型中的因果效应估计。通过优化候选父节点选择并利用算法改进降低内存和时间成本，该方法实现了对包含100多个变量的DAG的高效后验抽样，并在因果效应估计方面优于先前方法，尤其在数据有限的情况下表现更优。

ABSTRACT

We give methods for Bayesian inference of directed acyclic graphs, DAGs, and the induced causal effects from passively observed complete data. Our methods build on a recent Markov chain Monte Carlo scheme for learning Bayesian networks, which enables efficient approximate sampling from the graph posterior, provided that each node is assigned a small number $K$ of candidate parents. We present algorithmic techniques to significantly reduce the space and time requirements, which make the use of substantially larger values of $K$ feasible. Furthermore, we investigate the problem of selecting the candidate parents per node so as to maximize the covered posterior mass. Finally, we combine our sampling method with a novel Bayesian approach for estimating causal effects in linear Gaussian DAG models. Numerical experiments demonstrate the performance of our methods in detecting ancestor-descendant relations, and in causal effect estimation our Bayesian method is shown to outperform previous approaches.

研究动机与目标

• 解决大规模因果推断中在DAG组合空间上进行贝叶斯模型平均的计算不可行性。
• 克服现有DAG MCMC采样器的局限性，包括高内存使用和因某些排序过度表示而导致的采样偏差。
• 通过降低时间和空间复杂度，实现在数百个变量的DAG结构上的高效且准确的后验抽样。
• 开发一种贝叶斯框架以估计因果效应，该框架充分利用完整的DAG结构和不确定性，优于非贝叶斯的IDA风格方法。
• 研究最优候选父节点选择策略，以在保持计算可行性的同时最大化后验覆盖范围。

提出的方法

• 采用基于划分的MCMC方案，对节点划分进行抽样，而非对完整DAG或节点排序进行抽样，从而减少采样偏差。
• 将每个节点的父节点集合限制为大小为 $ K $ 的小候选集，预先在查找表中计算得分总和，从而大幅降低每步计算成本。
• 引入算法优化措施，如高效数据结构和剪枝策略，以降低内存和时间复杂度，使 $ K $ 值（例如 $ K=15 $）的使用成为可能，并实现2–3个数量级的性能提升。
• 提出一种三阶段基于抽样的方法（Beeps）以近似因果效应的后验分布：(1) 通过Gadget抽样DAG，(2) 条件性地对每个DAG抽样模型参数，(3) 在线性高斯模型中通过矩阵求逆计算因果效应。
• 利用矩阵求逆将结构参数映射到干预分布，实现在线性高斯假设下的精确因果效应计算。
• 通过精确优化（小图）和可扩展启发式方法（大图）评估候选父节点选择策略，目标是最大化后验覆盖范围。

实验结果

研究问题

• RQ1 如何在保持计算可行性与抽样准确性的同时，将贝叶斯DAG学习扩展到更大规模网络（例如100+个变量）？
• RQ2 每节点选择候选父节点的最优策略是什么，才能最大化对真实DAG结构的后验覆盖？
• RQ3 我们能否设计一种贝叶斯方法来估计因果效应，使其能充分利用结构不确定性，并优于非贝叶斯方法（如IDA）？
• RQ4 随着 $ K $ 增大，内存和时间需求如何变化？哪些算法优化可实现数量级的成本降低？
• RQ5 启发式父节点选择方法在多大程度上近似最优选择的性能？它们在何种情况下会失效？

主要发现

• 所提出的算法优化将内存和时间需求降低了2–3个数量级，使 $ K=15 $ 的使用成为可行，显著扩大了后验DAG空间的覆盖范围。
• Beeps 在因果效应估计方面优于以往基于IDA的方法，尤其在小样本至中等样本量下表现更优，显示出更高的准确性和更优的不确定性量化能力。
• 在包含 $ n=107 $ 个变量的真实基因表达数据集中，Beeps 的准确率优于 BiDAG 和 Gadget，尤其在数据点较少时（如200–400个），BiDAG 常常无法收敛。
• 对于包含800和1600个数据点的数据集，BiDAG 在10次实验中有4次和8次未能完成100次迭代，而使用 $ K=15 $ 的 Gadget 保持稳定且可扩展。
• 最优候选父节点集合即使在中等 $ K $ 值下也能实现强大的后验覆盖，且简单启发式方法通常可达到接近最优的性能，但并非总是如此——这凸显了在高效高分父节点集合发现方面仍需进一步研究。
• 贝叶斯因果效应估计器（Beeps）提供了因果效应的完整后验分布，支持有原则的不确定性感知决策，且在估计准确性方面优于非贝叶斯替代方法。