[论文解读] SADA: A General Framework to Support Robust Causation Discovery with Theoretical Guarantee

Ruichu Cai, Zhenjie Zhang+1 more|arXiv (Cornell University)|Jul 5, 2017

Bayesian Modeling and Causal Inference参考文献 24被引用 6

一句话总结

SADA 是一种通用且理论基础坚实的框架，通过使用因果切割递归地将变量划分为更小的子问题，从而提升因果发现的性能，使现有算法在小样本情况下实现更高的准确率和可扩展性。在理想条件下，该框架可保证正确性，并在条件独立性检验存在噪声时仍能提升精确率和 F1 分数。

ABSTRACT

Causation discovery without manipulation is considered a crucial problem to a variety of applications. The state-of-the-art solutions are applicable only when large numbers of samples are available or the problem domain is sufficiently small. Motivated by the observations of the local sparsity properties on causal structures, we propose a general Split-and-Merge framework, named SADA, to enhance the scalability of a wide class of causation discovery algorithms. In SADA, the variables are partitioned into subsets, by finding causal cut on the sparse causal structure over the variables. By running mainstream causation discovery algorithms as basic causal solvers on the subproblems, complete causal structure can be reconstructed by combining the partial results. SADA benefits from the recursive division technique, since each small subproblem generates more accurate result under the same number of samples. We theoretically prove that SADA always reduces the scales of problems without sacrifice on accuracy, under the condition of local causal sparsity and reliable conditional independence tests. We also present sufficient condition to accuracy enhancement by SADA, even when the conditional independence tests are vulnerable. Extensive experiments on both simulated and real-world datasets verify the improvements on scalability and accuracy by applying SADA together with existing causation discovery algorithms.

研究动机与目标

• 解决现有因果发现算法在小样本情况下的可扩展性和准确率限制。
• 利用局部因果稀疏性，将大规模变量集划分为更小、更易处理的子问题。
• 在忠实性和因果充分性假设下，为因果结构恢复的正确性和完备性提供理论保证。
• 在条件独立性检验不可靠或存在噪声时，提升召回率和精确率。
• 使现有因果发现算法在样本有限的情况下，能有效扩展到更大的变量集合。

提出的方法

• SADA 采用拆分-合并策略，基于条件独立性检验，利用因果切割将完整变量集划分为重叠的子问题。
• 该框架通过识别稀疏因果切割，递归地将变量集划分为更小的子问题，从而减小问题规模，同时保持因果结构的完整性。
• 每个子问题独立地使用基础因果发现算法（如 LiNGAM、ANM）求解，由于规模更小，可获得更高的准确率。
• 将各子问题的局部因果结构合并，以重建所有变量上的完整因果图。
• 该方法依赖于忠实性和因果充分性假设，且兼容多种数据生成模型，包括线性非高斯模型和加性噪声模型。
• SADA 提供理论保证：在理想条件独立性检验下，始终减小问题规模而不损失准确率；在测试存在噪声时，若基础求解器在子问题上表现更优，则可提升召回率和精确率。

实验结果

研究问题

• RQ1 通用框架能否提升因果发现算法在小样本情况下的可扩展性和准确率？
• RQ2 通过因果切割对变量进行递归划分，能否提升现有因果发现算法的性能？
• RQ3 在何种条件下，SADA 可保证因果结构恢复的正确性和完备性？
• RQ4 当条件独立性检验不可靠或存在噪声时，SADA 的表现如何？
• RQ5 与 LiNGAM 和 ANM 等基线方法相比，SADA 在精确率和 F1 分数上的提升程度如何？

主要发现

• 在非高斯线性模型上，SADA 在全部五个数据集上的 F1 分数均显著高于 LiNGAM，F1 分数范围为 0.38 至 0.48，而 LiNGAM 的 F1 分数为 0.27 至 0.13。
• SADA 显著提升了精确率，在 Alarm 数据集上达到 0.38 的 F1 分数，在 Win95pts 数据集上达到 0.48，而 LiNGAM 分别为 0.27 和 0.30。
• 在离散加性噪声模型上，SADA 保持了高性能，F1 分数分别为 0.70（Alarm）和 0.63（Hailfinder），尽管 ANM 在某些数据集上召回率更高，但 SADA 在精确率和 F1 分数上均表现更优。
• SADA 使 ANM 能够扩展到更大的网络（如 Pigs 和 Link），而 ANM 单独运行时在一周内无法完成，表明其可扩展性显著提升。
• 即使存在因果切割错误，SADA 仍能保持高召回率，并显著提升精确率，表明其对不完美划分具有鲁棒性。
• 理论分析表明，SADA 相对于变量集大小可减少所需样本量，在稀疏因果结构下可实现高达指数级的样本节省。