[论文解读] Scaling up Greedy Causal Search for Continuous Variables

Joseph Ramsey|arXiv (Cornell University)|Jul 28, 2015

Bayesian Modeling and Causal Inference被引用 14

一句话总结

本文针对连续变量提出了贪心等价搜索（GES）算法的优化实现，使高维数据上的可扩展因果发现成为可能。通过计算优化，该方法在笔记本电脑上13分钟内完成50,000个变量的计算，在超级计算机上18小时内完成1,000,000个变量的计算，显著扩展了GES在大规模数据问题中的适用性，同时保持了准确性。

ABSTRACT

As standardly implemented in R or the Tetrad program, causal search algorithms used most widely or effectively by scientists have severe dimensionality constraints that make them inappropriate for big data problems without sacrificing accuracy. However, implementation improvements are possible. We explore optimizations for the Greedy Equivalence Search that allow search on 50,000-variable problems in 13 minutes for sparse models with 1000 samples on a four-processor, 16G laptop computer. We finish a problem with 1000 samples on 1,000,000 variables in 18 hours for sparse models on a supercomputer node at the Pittsburgh Supercomputing Center with 40 processors and 384 G RAM. The same algorithm can be applied to discrete data, with a slower discrete score, though the discrete implementation currently does not scale as well in our experiments; we have managed to scale up to about 10,000 variables in sparse models with 1000 samples.

研究动机与目标

• 为克服R和Tetrad中标准GES实现对大规模数据的严重维度限制。
• 通过高效的计算优化，实现在连续变量上的可扩展因果发现。
• 证明GES可扩展至高维问题（最高达100万变量），且不牺牲准确性。
• 评估优化后的GES在稀疏模型和真实世界数据规模下的性能。
• 探索将优化方法扩展至离散数据的可行性，尽管可扩展性有所降低。

提出的方法

• 通过高效的评分计算和数据结构，优化连续变量的贪心等价搜索（GES）算法。
• 实现并行化和内存高效的数据显示处理，以降低大规模问题的时间复杂度。
• 对连续变量使用高斯似然评分，并通过优化的数值计算加速评分评估。
• 应用增量搜索策略，避免在结构学习过程中重复评分计算。
• 利用高性能计算资源，包括40核节点和384 GB内存，将计算规模扩展至100万变量。
• 针对稀疏模型调整算法，以减轻计算负担，同时保持结构准确性。

实验结果

研究问题

• RQ1 能否在标准硬件上将贪心等价搜索（GES）算法扩展至处理包含50,000个或更多变量的数据集？
• RQ2 在连续变量上，哪些计算优化最有效地减少GES的运行时间？
• RQ3 优化后的GES在大规模连续数据与离散数据上的性能表现如何比较？
• RQ4 在高性能计算系统上，该算法能否在保持准确性的前提下扩展至100万变量？
• RQ5 在大规模因果发现中，模型稀疏性与计算效率之间的权衡是什么？

主要发现

• 在配备四核处理器和16GB内存的笔记本电脑上，使用1,000个样本，优化后的GES算法在13分钟内完成了50,000个变量的问题。
• 在拥有40个处理器和384 GB内存的超级计算机节点上，使用稀疏模型，1,000,000个变量的问题在18小时内被解决。
• 通过算法和实现优化，该方法实现了显著的加速，使大规模数据上的可扩展因果发现成为可能。
• 离散版本的算法可扩展性较低，使用1,000个样本时最多达到约10,000个变量。
• 该方法在扩展至高维数据时保持了准确性，适用于真实世界的大数据应用。
• 这些优化具有通用性，可应用于其他基于评分的因果发现算法，并实现类似的性能提升。