[论文解读] Ordering-Based Causal Structure Learning in the Presence of Latent Variables

Daniel Irving Bernstein, Basil Saeed+2 more|arXiv (Cornell University)|Oct 20, 2019

Bayesian Modeling and Causal Inference参考文献 25被引用 10

一句话总结

该论文提出GSPo，一种用于具有潜在混淆因子的有向混合有向无环图（DMAGs）的混合因果结构学习算法，通过在偏序集（posets）上进行贪心搜索，以识别最稀疏的马尔可夫等价图。它证明了在比忠实性假设更弱的假设下，最稀疏的独立性映射（IMAP）与真实模型马尔可夫等价，且实证表明GSPo在结构汉明距离和ROC性能方面优于FCI和FCI+，尤其在中等误报率情形下表现更优。

ABSTRACT

We consider the task of learning a causal graph in the presence of latent confounders given i.i.d.~samples from the model. While current algorithms for causal structure discovery in the presence of latent confounders are constraint-based, we here propose a score-based approach. We prove that under assumptions weaker than faithfulness, any sparsest independence map (IMAP) of the distribution belongs to the Markov equivalence class of the true model. This motivates the \emph{Sparsest Poset} formulation - that posets can be mapped to minimal IMAPs of the true model such that the sparsest of these IMAPs is Markov equivalent to the true model. Motivated by this result, we propose a greedy algorithm over the space of posets for causal structure discovery in the presence of latent confounders and compare its performance to the current state-of-the-art algorithms FCI and FCI+ on synthetic data.

研究动机与目标

• 为解决约束基方法如FCI和FCI+在存在潜在混淆因子时进行因果结构学习的局限性，这些方法依赖于限制性强的忠实性假设。
• 开发一种结合评分与条件独立性检验的混合方法，以提高对误差传播的鲁棒性。
• 将因果结构学习重新表述为在偏序集（posets）上的离散优化问题，从而实现对稀疏、马尔可夫等价图的更稳健搜索。
• 证明在比忠实性假设更弱的条件下，最稀疏的最小IMAP与真实DMAG马尔可夫等价，从而实现可靠的结构恢复。

提出的方法

• 该论文提出从每个观测变量的偏序集（poset）到最小独立性映射（IMAP）的映射，确保生成样本的分布是所得到图的马尔可夫性。
• 证明了在比忠实性假设更弱的假设下，最稀疏的此类IMAP与真实DMAG马尔可夫等价，从而为寻找最稀疏IMAP提供了理论依据。
• GSPo算法在偏序集空间上执行贪心搜索，使用合法标记变更（legitimate mark changes, Zhang & Spirtes, 2012）来探索并优化与不同偏序集相关的IMAP。
• 该算法使用评分准则评估每个IMAP的稀疏性，并利用条件独立性检验来验证候选图的马尔可夫性质。
• 评估了初始化策略，发现MD算法和GSP初始化表现优异，而空偏序集则导致更密集的图。
• 该方法在合成数据上实现并对比了FCI和FCI+，通过按样本大小调整超参数以最小化结构汉明距离。

实验结果

研究问题

• RQ1 在比忠实性假设更弱的假设下，对偏序集的贪心搜索能否识别出与真实DMAG马尔可夫等价的最稀疏IMAP？
• RQ2 在不同样本大小和误报率下，所提出的GSPo算法在结构汉明距离和ROC曲线下面积方面的表现与FCI和FCI+相比如何？
• RQ3 结合评分与条件独立性检验的混合方法是否相比纯约束基方法提高了对误差传播的鲁棒性？
• RQ4 基于偏序集的建模方法是否能在存在潜在混淆因子的情况下，实现比现有FCI族算法更高效或更准确的因果发现？

主要发现

• GSPo在所有样本大小下均一致优于FCI和FCI+在结构汉明距离（SHD）上的表现，最佳变体实现了显著更低的平均SHD。
• 在中等误报率情形下，GSPo优于FCI和FCI+，表明其对近忠实性违背具有更强的鲁棒性，而这类违背会降低约束基方法的性能。
• GSPo的曲线下面积（AUC）在不同样本大小下与FCI和FCI+相当或更优，尤其在误报率不极低时表现更佳。
• 使用MD算法初始化可获得与GSP初始化相当的性能，两者均优于空偏序集，后者导致图更密集且准确率更低。
• GSPo结合GSP初始化在小型图上比FCI和FCI+更快，但在大型图上扩展性不如FCI+，提示可通过动态连通性或改进IMAP构建进一步优化。
• 该算法在不同初始化方案下表现稳健，且实证验证了关键洞察：在弱假设下，最稀疏IMAP与真实图马尔可夫等价。