[论文解读] Stable Differentiable Causal Discovery

Achille Nazaret, Justin Hong+2 more|arXiv (Cornell University)|Nov 17, 2023

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文提出稳定可微因果发现（SDCD），一种两阶段可微因果发现方法，通过引入谱无环约束和感知稀疏性的训练过程，提升了数值稳定性和可扩展性。SDCD在观测数据和干预数据上均实现了比以往方法更快的收敛速度和更高的准确性，可有效扩展至数千个变量。

ABSTRACT

Inferring causal relationships as directed acyclic graphs (DAGs) is an important but challenging problem. Differentiable Causal Discovery (DCD) is a promising approach to this problem, framing the search as a continuous optimization. But existing DCD methods are numerically unstable, with poor performance beyond tens of variables. In this paper, we propose Stable Differentiable Causal Discovery (SDCD), a new method that improves previous DCD methods in two ways: (1) It employs an alternative constraint for acyclicity; this constraint is more stable, both theoretically and empirically, and fast to compute. (2) It uses a training procedure tailored for sparse causal graphs, which are common in real-world scenarios. We first derive SDCD and prove its stability and correctness. We then evaluate it with both observational and interventional data and on both small-scale and large-scale settings. We find that SDCD outperforms existing methods in both convergence speed and accuracy and can scale to thousands of variables. We provide code at https://github.com/azizilab/sdcd.

研究动机与目标

• 解决现有可微因果发现（DCD）方法在变量数超过数十个时出现的数值不稳定性与可扩展性差的问题。
• 为连续优化中的因果发现设计一种更稳定且计算高效的无环约束。
• 设计一种两阶段优化框架，以增强高维设置下的稀疏性学习并保留真实的因果边。
• 在小规模和大规模问题的观测数据与干预数据上，对SDCD进行实证验证。
• 证明SDCD在收敛速度、准确性和可扩展性方面均优于最先进DCD方法。

提出的方法

• SDCD采用基于邻接矩阵谱半径的谱无环约束，该约束在理论上和实证上均比以往基于惩罚的约束更具稳定性。
• 该方法采用两阶段优化：第一阶段为剪枝阶段，移除弱边但不强制无环；第二阶段为DCD阶段，引入谱约束以强制无环。
• 第一阶段使用可学习掩码抑制非必要边，同时保留真实因果关系，从而提升训练稳定性。
• 第二阶段以第一阶段的掩码和边权重作为初始化，实现更快收敛和更好泛化能力。
• 该框架专为真实应用中常见的稀疏因果图设计，如基因组学和系统生物学。
• 理论分析证明第一阶段不会移除真实边，实证结果也证实了其鲁棒性和准确性提升。

Figure 1 : Visual representation of the SDCD method.

实验结果

研究问题

• RQ1 能否设计一种新型无环约束，以提升可微因果发现中的数值稳定性？
• RQ2 两阶段优化流程是否能提升大规模因果发现中的收敛速度和准确性？
• RQ3 SDCD能否在保持高准确性的前提下，有效扩展至数千个变量，适用于观测数据和干预数据？
• RQ4 与现有基于惩罚的约束相比，谱无环约束在稳定性和计算效率方面表现如何？
• RQ5 两阶段设计在实现可扩展优化的同时，能在多大程度上保留真实因果边？

主要发现

• SDCD在收敛速度和准确性方面均优于现有DCD方法，在所有测试设置中均达到最低的结构汉明距离（SHD）。
• 在d=40个变量、每变量s=4条边的观测数据上，SDCD的SHD为69.0，显著低于DCDI（87.0）及其他基线方法。
• SDCD在40个变量、平均边密度55%的情况下仍能有效扩展，SHD为222.3，而GIES在d≥30时无法运行。
• 消融研究证实，第二阶段强制使用掩码至关重要：SDCD-warm-nomask性能远差于SDCD，表明约束强制的重要性。
• SDCD-warm（采用权重迁移）仅带来微小改进，表明两阶段设计具有鲁棒性，无需额外的热启动调优。
• 如五组随机数据的精确率与召回率箱线图所示，SDCD在干预率和变量数不断增加的情况下仍保持高精确率与高召回率。

Figure 2 : Constraint behaviors in typical regimes. (left) as the weights’ scale $\varepsilon$ increases (right) as the number of variable $d$ increases. For uniform random weights in $[0,\epsilon]^{d\times d}$ (dashed) or a cycle of length $d/2$ with weight $\varepsilon$ (solid). Only the proposed