[论文解读] Structural Agnostic Modeling: Adversarial Learning of Causal Graphs

Diviyan Kalainathan, Olivier Goudet+3 more|arXiv (Cornell University)|Mar 13, 2018

Bayesian Modeling and Causal Inference参考文献 31被引用 29

一句话总结

本文提出结构无关建模（SAM），一种新颖的因果发现方法，通过使用神经网络进行对抗性训练，联合学习因果图与条件分布。通过结合条件独立性检验、分布不对称性以及稀疏性和无环性正则化，SAM在合成数据集和真实世界数据集（包括一个复杂的11蛋白信号传导网络）上实现了最先进性能，其精确率和召回率均优于现有方法。

ABSTRACT

A new causal discovery method, Structural Agnostic Modeling (SAM), is presented in this paper. Leveraging both conditional independencies and distributional asymmetries, SAM aims to find the underlying causal structure from observational data. The approach is based on a game between different players estimating each variable distribution conditionally to the others as a neural net, and an adversary aimed at discriminating the generated data against the original data. A learning criterion combining distribution estimation, sparsity and acyclicity constraints is used to enforce the optimization of the graph structure and parameters through stochastic gradient descent. SAM is extensively experimentally validated on synthetic and real data.

研究动机与目标

• 开发一种因果发现方法，无需预先了解功能机制或数据分布，即可从观测数据中识别潜在因果结构。
• 将条件独立关系与分布不对称性整合到统一学习框架中，以提升因果图识别性能。
• 通过对抗性训练和正则化，将因果结构学习的组合复杂性转化为连续优化问题，以应对该挑战。
• 利用深度神经网络实现图结构与条件分布的端到端联合学习，并显式施加稀疏性和无环性约束。
• 提供一种稳健、可扩展且通用的因果发现工具，适用于系统生物学、计量经济学等真实世界应用。

提出的方法

• SAM使用神经网络对每个变量在其父节点条件下的分布进行建模，从观测数据中学习马尔可夫核。
• 训练一个对抗性判别器以区分真实数据与生成数据，从而促使生成器产生逼真的条件分布。
• 损失函数结合了对数似然估计、L1正则化以实现稀疏性，以及基于邻接矩阵指数的迹的可微无环性惩罚项。
• 整个框架通过随机梯度下降进行优化，实现因果图结构与条件密度估计器的端到端训练。
• 该方法利用f-GAN框架提升分布匹配与泛化能力，尤其在非线性设定下表现更优。
• 通过移除无环性约束，SAM可适配循环图，从而适用于具有反馈的系统（如生物信号传导网络）。

实验结果

研究问题

• RQ1 基于对抗性训练的深度生成模型能否通过同时利用条件独立性和分布不对称性，有效从观测数据中识别因果结构？
• RQ2 在非线性设定下，稀疏性与无环性约束的整合在多大程度上提升了因果图的可识别性与泛化能力？
• RQ3 SAM在合成数据集与真实世界数据集（尤其是复杂高维系统）上，相较于现有因果发现方法，性能提升程度如何？
• RQ4 在何种场景下，使用GAN的对抗性训练相较于标准均方误差最小化，在因果结构学习中表现更优？
• RQ5 SAM能否在不强制无环性约束的前提下，有效应用于循环或反馈驱动的系统（如生物信号传导网络）？

主要发现

• 在包含约1,500个变量的DREAM5体外网络上，SAM显著优于最先进方法，展现出强大的可扩展性与性能。
• 在Sachs等人（2005）的11蛋白信号传导网络上，SAM取得了最高的AUPR得分，成功恢复了关键因果通路（如Raf → Mek → Erk）。
• 在具有非线性功能机制的合成数据集上，SAM在存在分布不对称性时表现出更优的精确率与召回率。
• 损伤实验表明，对抗性训练与非线性神经网络机制对性能至关重要，尤其在复杂非加法设定下。
• SAM在所有基准测试中均避免了灾难性失败，即使在其他方法失效或表现不佳时仍保持稳健性能。
• 该方法展现出强大的计算效率与可扩展性，可在GPU硬件上高效训练，适用于高维数据应用。