[论文解读] Order-independent constraint-based causal structure learning

Diego Colombo, Marloes H. Maathuis|arXiv (Cornell University)|Jan 1, 2014

Bayesian Modeling and Causal Inference参考文献 30被引用 466

一句话总结

本文提出对基于约束的因果结构学习算法（如PC、FCI和RFCI）进行无序修改，这些算法传统上因输入变量顺序不同而产生不一致的结果——尤其在高维设置下问题更为严重。作者提出了在高维场景下保持一致性的改进方法，消除了顺序依赖性，同时维持了统计一致性，在模拟实验和真实酿酒酵母基因数据中均表现出更高的稳定性和性能。

ABSTRACT

We consider constraint-based methods for causal structure learning, such as the PC-, FCI-, RFCI- and CCD- algorithms (Spirtes et al., 1993, 2000; Richardson, 1996; Colombo et al., 2012; Claassen et al., 2013). The first step of all these algorithms consists of the adjacency search of the PC-algorithm. The PC-algorithm is known to be order-dependent, in the sense that the output can depend on the order in which the variables are given. This order-dependence is a minor issue in low-dimensional settings. We show, however, that it can be very pronounced in high-dimensional settings, where it can lead to highly variable results. We propose several modifications of the PC-algorithm (and hence also of the other algorithms) that remove part or all of this order-dependence. All proposed modifications are consistent in high-dimensional settings under the same conditions as their original counterparts. We compare the PC-, FCI-, and RFCI-algorithms and their modifications in simulation studies and on a yeast gene expression data set. We show that our modifications yield similar performance in low-dimensional settings and improved performance in high-dimensional settings. All software is implemented in the R-package pcalg.

研究动机与目标

• 解决基于约束的因果结构学习算法（如PC、FCI、RFCI和CCD）中存在的顺序依赖性问题，这些算法的输出结果会因变量输入顺序不同而产生不一致。
• 指出在高维设置下，顺序依赖性问题尤为严重，导致因果图高度可变且不可靠。
• 对PC算法及其扩展算法进行修改，以减少或消除顺序依赖性，同时在与原始方法相同的条件下保持统计一致性。
• 通过利用共享的算法组件，确保所提修改可适用于其他基于约束的算法（如FCI、RFCI和CCD）。
• 通过全面的模拟研究和在酿酒酵母基因表达数据集上的实际应用，验证改进效果。

提出的方法

• 通过基于条件独立性检验的一致性变量排序策略，修改PC算法的邻接搜索阶段，使其无序依赖。
• 引入一种动态变量排序机制，在骨架发现阶段自适应调整，确保无论输入顺序如何，都能恢复相同的骨架。
• 保留原始PC算法的条件独立性检验框架，但重新组织v-结构和条件独立性查询的处理顺序。
• 通过将相同原理应用于其各自的骨架发现和方向确定阶段，将无序依赖方法扩展至FCI和RFCI算法。
• 确保所有修改在与原始算法相同的假设下（包括忠实性和稀疏条件独立结构）在高维设置中保持统计一致性。
• 在R包 pcalg 中实现所有提议的算法，以确保研究的可复现性，并向研究社区广泛提供。

实验结果

研究问题

• RQ1 在高维设置下，变量顺序在多大程度上影响基于约束的因果结构学习算法（如PC、FCI和RFCI）的输出结果？
• RQ2 能否设计出修改方法，以消除PC算法中的顺序依赖性，同时在高维数据中保持统计一致性？
• RQ3 在模拟研究中，PC、FCI和RFCI的无序依赖变体与原始算法相比，在准确性和稳定性方面表现如何？
• RQ4 所提出的修改是否能提升真实世界高维数据（如基因表达数据集）上的性能？
• RQ5 相同的无序依赖原则是否可推广至多个基于约束的算法，包括FCI和RFCI？

主要发现

• 所提出的无序依赖修改显著降低了高维设置下的结果变异性，原始PC算法的输出在高维场景下对输入变量顺序极为敏感，而修改后结果更加稳定。
• 在低维设置下，修改后的算法性能与原始PC、FCI和RFCI算法相当，表明准确度未受影响。
• 在酿酒酵母基因表达数据集中，无序依赖变体生成的因果结构比原始算法更稳定且更具生物学合理性。
• 模拟研究证实，修改后的算法在与原始方法相同的条件下保持了统计一致性，即使在高维情形下亦成立。
• 修改成功扩展至FCI和RFCI算法，证明无序依赖性可在多个基于约束的因果发现框架中实现。
• 所有实现均已集成在R包 pcalg 中，便于在实证研究中广泛采用和复现。