[论文解读] Scaling up Greedy Equivalence Search for Continuous Variables.

Joseph Ramsey|arXiv (Cornell University)|Jul 28, 2015

Bayesian Modeling and Causal Inference参考文献 5被引用 20

一句话总结

本文针对连续、线性高斯数据，提出了贪心等价搜索（GES）算法的优化实现，实现了在高维数据集上的可扩展因果发现。通过计算优化，该方法在笔记本电脑上13分钟内完成50,000个变量的处理，在超级计算机上18小时内完成1,000,000个变量的处理，显著扩展了标准实现下GES可处理的维度范围。

ABSTRACT

As standardly implemented in R or in the Tetrad program, causal search algorithms that have been most widely or effectively used in scientific problems have severe dimensionality constraints. However, implementation improvements are possible that extend the feasible dimensionality of search problems by several orders of magnitude. We describe optimizations for the Greedy Equivalence Search (GES) that allow search on 50,000 variable problems in 13 minutes for sparse models with 1000 samples, on a 4 processor 8G laptop computer, and in 18 hours for sparse models with 1000 samples on 1,000,000 variables on a supercomputer node at the Pittsburgh Supercomputing Center with 40 processors and 384 G RAM, on data generated i.i.d. from a linear, Gaussian model.

研究动机与目标

• 解决R语言和Tetrad中标准GES实现对高维连续数据的严重维度限制问题。
• 实现在数千至数百万变量的大规模数据集上的可扩展因果发现。
• 开发计算优化技术，显著降低运行时间，同时保持统计准确性。
• 通过使用实际样本量和稀疏结构，证明GES在大规模问题上的可行性。

提出的方法

• 通过优化内存访问和数据结构，减少评分计算过程中的I/O操作和缓存未命中。
• 利用共享内存并行计算，在多处理器上并行化评分评估。
• 实现高效的增量评分更新机制，避免在每次边添加或删除后从头重新计算评分。
• 采用稀疏矩阵表示法，降低高维场景下的存储和计算成本。
• 利用线性高斯模型的条件独立性结构，简化并加速评分计算。
• 应用任务级并行计算，将搜索任务分发到高性能计算集群的多个处理器上。

实验结果

研究问题

• RQ1 能否在标准笔记本电脑硬件上将GES扩展至50,000个变量的数据集？
• RQ2 在高性能计算系统上，使用1,000个样本时，GES的最大可行维度是多少？
• RQ3 在大规模问题上，优化后的GES相比标准实现能快多少？
• RQ4 当应用于稀疏、高维模型时，该算法能否保持准确性和稳定性？

主要发现

• 在4核、8GB内存的笔记本电脑上，使用1,000个独立同分布样本，成功将GES扩展至50,000个变量，耗时13分钟。
• 在40核、384GB内存的超级计算机节点上，使用1,000个样本，成功将方法扩展至1,000,000个变量，耗时18小时。
• 相比标准GES实现，优化方法使可处理的问题规模提升了数个数量级。
• 通过增量评分更新和稀疏矩阵处理，算法保持了计算效率。