[论文解读] NODAGS-Flow: Nonlinear Cyclic Causal Structure Learning

Muralikrishnna G. Sethuraman, Romain Lopez+4 more|arXiv (Cornell University)|Jan 4, 2023

Single-cell and spatial transcriptomicsBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

NODAGS-Flow 是一种新颖的框架，通过将系统建模为离散动力系统并使用收缩残差归一化流，实现从干预数据中学习非线性循环因果图模型。该方法在合成数据和真实世界单细胞扰动数据上的结构恢复与预测性能方面均优于当前最先进方法，尤其在非线性和循环设定下表现更优。

ABSTRACT

Learning causal relationships between variables is a well-studied problem in statistics, with many important applications in science. However, modeling real-world systems remain challenging, as most existing algorithms assume that the underlying causal graph is acyclic. While this is a convenient framework for developing theoretical developments about causal reasoning and inference, the underlying modeling assumption is likely to be violated in real systems, because feedback loops are common (e.g., in biological systems). Although a few methods search for cyclic causal models, they usually rely on some form of linearity, which is also limiting, or lack a clear underlying probabilistic model. In this work, we propose a novel framework for learning nonlinear cyclic causal graphical models from interventional data, called NODAGS-Flow. We perform inference via direct likelihood optimization, employing techniques from residual normalizing flows for likelihood estimation. Through synthetic experiments and an application to single-cell high-content perturbation screening data, we show significant performance improvements with our approach compared to state-of-the-art methods with respect to structure recovery and predictive performance.

研究动机与目标

• 为解决现有因果结构学习方法假设因果图无环的局限性，此类方法常无法捕捉真实系统（如基因调控网络）中常见的反馈回路。
• 开发一种可扩展且可微分的框架，用于从干预数据中学习非线性、循环因果关系，且无需依赖无环性约束。
• 在存在反馈回路和非线性函数关系的设定下，实现准确的结构恢复与预测性能。
• 提供一种统一的方法，同时处理观测数据和干预数据，无需根据干预类型对数据进行子集划分。
• 利用高通量单细胞扰动数据（如 Perturb-CITE-seq）改进基因调控网络的预测建模。

提出的方法

• 该框架将观测变量建模为离散动力系统的稳态，允许潜在因果图中存在循环。
• 通过系统稳态解的形式化数据似然，实现直接的似然优化。
• 采用收缩残差归一化流，高效估计似然并反向传播通过非线性函数关系的梯度。
• 通过连续优化框架避免对 DAG 的组合搜索，隐式满足循环系统的结构约束。
• 模型通过梯度下降在干预数据上端到端训练，可同时处理观测数据和干预特异性数据。
• 该框架通过联合估计因果图与非线性函数，同时支持结构学习与预测建模。

Figure 1: Performance on synthetic interventional data. The box plots show the median and inter-quartile ranges over the independent trails.

实验结果

研究问题

• RQ1 是否能够基于似然的框架，在不强制无环性的情况下，有效学习非线性循环因果结构？
• RQ2 在非线性和循环依赖设定下，NODAGS-Flow 在恢复因果图方面的性能与最先进方法相比如何？
• RQ3 与基于 DAG 或线性循环模型的方法相比，NODAGS-Flow 是否能在未见干预上实现更好的预测性能？
• RQ4 在真实世界单细胞扰动数据中，因果模型中引入循环是否能提升预测准确性？
• RQ5 在高维设定下，NODAGS-Flow 对不同数量干预的鲁棒性如何？

主要发现

• 在具有非线性函数关系的合成数据上，NODAGS-Flow 在结构恢复方面显著优于当前最先进方法（包括 LLC），尤其在循环设定下表现更优。
• 在仅使用 4 次干预的情况下，NODAGS-Flow 在 10 个节点的非线性循环图上实现了近乎完美的结构恢复，而 LLC 需要更多干预且无法处理纯观测数据。
• 在包含 61 个基因的真实世界 Perturb-CITE-seq 数据上，NODAGS-Flow 达到了最低的干预负对数似然（I-NLL）和干预平均绝对误差（I-MAE），优于所有基线方法。
• 该模型在未见干预上表现出卓越的预测能力，表明建模循环结构可提升复杂生物系统中的泛化能力。
• NODAGS-Flow 从单细胞转录组数据中成功学习到具有生物学可解释性的基因调控网络，其邻接矩阵中揭示了类簇结构。
• 该框架对数据类型具有鲁棒性，无需根据干预类型对数据进行划分，即可同时处理观测数据和干预数据。

Figure 2: Performance on synthetic observational data. The box plots show the median and inter-quartile ranges over the independent trails.