[论文解读] Reliable Causal Discovery with Improved Exact Search and Weaker Assumptions

Ignavier Ng, Yujia Zheng+2 more|arXiv (Cornell University)|Jan 14, 2022

Bayesian Modeling and Causal Inference被引用 4

一句话总结

该论文提出了一种可扩展、可靠的因果发现方法，适用于线性高斯模型，通过结合基于逆协方差矩阵支持的超结构估计（在弱于忠实性假设的条件下）与改进的精确局部搜索（Local A*），实现了在数百个节点的图上高精度的因果发现，其在可扩展性和对忠实性近似违反的鲁棒性方面优于基线方法。

ABSTRACT

Many of the causal discovery methods rely on the faithfulness assumption to guarantee asymptotic correctness. However, the assumption can be approximately violated in many ways, leading to sub-optimal solutions. Although there is a line of research in Bayesian network structure learning that focuses on weakening the assumption, such as exact search methods with well-defined score functions, they do not scale well to large graphs. In this work, we introduce several strategies to improve the scalability of exact score-based methods in the linear Gaussian setting. In particular, we develop a super-structure estimation method based on the support of inverse covariance matrix which requires assumptions that are strictly weaker than faithfulness, and apply it to restrict the search space of exact search. We also propose a local search strategy that performs exact search on the local clusters formed by each variable and its neighbors within two hops in the super-structure. Numerical experiments validate the efficacy of the proposed procedure, and demonstrate that it scales up to hundreds of nodes with a high accuracy.

研究动机与目标

• 解决基于忠实性的因果发现方法的局限性，这些方法在有限样本中对近似违反敏感。
• 提升基于评分的精确因果发现方法的可扩展性，这些方法通常因计算成本过高而仅限于小规模图。
• 开发一种超结构估计方法，其在严格弱于忠实性的假设下（如SSCF假设）具有渐近正确性。
• 引入一种局部搜索策略（Local A*），在小范围、局部化的子图上执行精确搜索，以在不牺牲精度的前提下提升可扩展性。
• 证明所提方法在大规模图（最多300个节点）上能实现高结构恢复精度，同时对非忠实的条件独立性保持鲁棒性。

提出的方法

• 基于逆协方差矩阵（精度矩阵）的支持估计超结构，该方法在SSCF假设下具有一致性——该假设严格弱于忠实性。
• 利用该超结构约束A*或动态规划（DP）等精确搜索算法的搜索空间，从而降低计算复杂度。
• 开发一种局部搜索策略——Local A*，在每个变量及其在超结构中两跳范围内的邻居构成的局部聚类上执行精确搜索。
• 在每个局部聚类内使用基于评分的优化（如BIC），以确保在SMR假设下具有渐近正确性。
• 将超结构估计与局部精确搜索相结合，平衡精度与可扩展性，避免在大规模图上进行全局搜索。
• 利用逆协方差矩阵支持可捕捉条件独立关系的特性，实现在近似非忠实性下仍能稳健地恢复图骨架。

实验结果

研究问题

• RQ1 我们能否在弱于忠实性的假设下（如SSCF或三角形忠实性）估计因果发现的超结构？
• RQ2 如何在不牺牲渐近正确性的情况下，将基于评分的精确因果发现方法扩展到大规模图？
• RQ3 在超结构聚类上采用的局部搜索策略是否能在提升计算效率的同时保持全局精确搜索的最优性？
• RQ4 在实际中，当存在忠实性的近似违反时，该方法的表现如何，特别是与贪婪法或约束基基线方法相比？
• RQ5 该方法的性能在多大程度上依赖于超结构估计的质量？其随图大小的扩展性如何？

主要发现

• 所提出的基于逆协方差矩阵支持的超结构估计方法，在SSCF假设下具有渐近正确性，而该假设严格弱于忠实性。
• Local A*在所有测试设置中均达到全局最优解，其性能与A*-SS相当，且在结构恢复方面显著优于其他基线方法，尤其在大规模图上表现更优。
• 该方法可扩展至最多300个节点的图，Local A*在合理时间内完成计算，而标准A*仅能处理约20个节点的图。
• A*-SS与Local A*在存在忠实性近似违反的设置中显著优于PC与FGES，展现出对这类违反的鲁棒性。
• MMHC比Local A*更快，但在大规模图上的结构恢复精度显著更差，表明Local A*在精度与效率之间提供了更优的权衡。
• 在大样本量（n=10,000）下，各方法之间的性能差距缩小，因为近似违反的可能性降低，但Local A*仍因鲁棒性保持强劲表现。