[论文解读] Unsuitability of NOTEARS for Causal Graph Discovery

Marcus Kaiser, Maksim Sipos|arXiv (Cornell University)|Apr 12, 2021

Bayesian Modeling and Causal Inference参考文献 19被引用 7

一句话总结

本文表明，一种从观测数据中发现因果图的流行方法 NOTEARS，由于缺乏尺度不变性，不适用于识别真实的因果关系。该方法的边方向受变量缩放的严重影响，导致即使潜在因果结构保持不变，其推断的DAG结构也极不稳定且不可靠。

ABSTRACT

Causal Discovery methods aim to identify a DAG structure that represents causal relationships from observational data. In this article, we stress that it is important to test such methods for robustness in practical settings. As our main example, we analyze the NOTEARS method, for which we demonstrate a lack of scale-invariance. We show that NOTEARS is a method that aims to identify a parsimonious DAG from the data that explains the residual variance. We conclude that NOTEARS is not suitable for identifying truly causal relationships from the data.

研究动机与目标

• 研究 NOTEARS 在实际、现实场景中进行因果图发现的鲁棒性。
• 识别 NOTEARS 在处理具有不同变量尺度的观测数据时，导致其可靠性受损的关键缺陷。
• 证明 NOTEARS 优先考虑模型拟合的简洁性而非因果结构，从而导致边方向产生偏差。
• 主张尺度依赖性使得该方法无法实现从数据中恢复真实因果关系的宣称。

提出的方法

• 作者将 NOTEARS 视为一个约束优化问题，通过最小化带 L1 正则化的最小二乘损失，并利用 h(W) = trace(exp(W∘W)) − d = 0 条件施加DAG约束。
• 在具有四个变量的合成线性结构方程模型（SEM）上评估 NOTEARS，系统性地重新缩放其中一个变量，以测试其对尺度的敏感性。
• 在多个运行中应用该方法，逐步增加缩放因子（从1到32），并比较所得DAG结构以评估其稳定性。
• 分析显示，即使真实因果结构保持不变，变量缩放变化也会导致推断DAG中边方向发生剧烈变化。
• 作者将 NOTEARS 与 GOLEM 等替代方法进行对比，后者使用基于似然的损失函数，并通过 log|det(I−W)| 实现软环约束。
• 作者认为，NOTEARS 依赖 Frobenius 范数损失，使其对变量方差敏感，而使用马哈拉诺比斯或基于对数似然损失的方法则不受此影响。

实验结果

研究问题

• RQ1 变量缩放如何影响 NOTEARS 推断的DAG中边的方向？
• RQ2 NOTEARS 在现实世界数据中对输入变量尺度变化的鲁棒性如何？
• RQ3 为何 NOTEARS 尽管专为因果图发现而设计，却仍无法识别真实因果结构？
• RQ4 NOTEARS 缺乏尺度不变性是否可归因于其损失函数和优化目标？
• RQ5 与 GOLEM 等替代方法相比，其在尺度不变性和因果结构恢复方面表现如何？

主要发现

• 将单个变量的缩放因子提高32倍，会导致 NOTEARS 完全反转该变量与其父节点之间边的方向。
• 该方法的边方向偏向于解释方差较高的变量，导致因果解释不一致且不可靠。
• NOTEARS 并未产生尺度不变的结果，即相同的潜在因果结构可能因变量缩放不同而生成不同的DAG。
• 该方法的优化目标优先最小化残差方差（以最小二乘意义），而非识别真实的因果关系。
• 即使真实因果结构完全相同，NOTEARS 在缩放后的数据上多次运行也会产生不同的DAG，表明其对数据参数化高度敏感。
• 作者得出结论：由于其根本的尺度依赖性，NOTEARS 不适用于现实世界中的因果发现。