[论文解读] Ordering-Based Search: A Simple and Effective Algorithm for Learning Bayesian Networks

Marc Teyssier, Daphne Koller|arXiv (Cornell University)|Jul 4, 2012

Bayesian Modeling and Causal Inference参考文献 20被引用 180

一句话总结

本文提出基于排序的搜索（OBS），一种从数据中学习贝叶斯网络结构的简单而有效算法。与在庞大的网络结构空间中搜索不同，OBS在节点排序空间中进行搜索，对每个排序高效地找到最优网络——相比标准的带禁忌列表的贪心爬山法，收敛速度更快，性能更优，且相比复杂方法实现起来简单得多。

ABSTRACT

One of the basic tasks for Bayesian networks (BNs) is that of learning a network structure from data. The BN-learning problem is NP-hard, so the standard solution is heuristic search. Many approaches have been proposed for this task, but only a very small number outperform the baseline of greedy hill-climbing with tabu lists; moreover, many of the proposed algorithms are quite complex and hard to implement. In this paper, we propose a very simple and easy-to-implement method for addressing this task. Our approach is based on the well-known fact that the best network (of bounded in-degree) consistent with a given node ordering can be found very efficiently. We therefore propose a search not over the space of structures, but over the space of orderings, selecting for each ordering the best network consistent with it. This search space is much smaller, makes more global search steps, has a lower branching factor, and avoids costly acyclicity checks. We present results for this algorithm on both synthetic and real data sets, evaluating both the score of the network found and in the running time. We show that ordering-based search outperforms the standard baseline, and is competitive with recent algorithms that are much harder to implement.

研究动机与目标

• 为解决贝叶斯网络结构学习的NP难问题，提出一种既有效又易于实现的方法。
• 通过将搜索空间从网络结构转移到节点排序，降低计算复杂度。
• 通过利用给定排序下最优网络可快速计算且保证无环的特性，提升搜索效率。
• 在得分和运行时间上优于基线的贪心爬山法（带禁忌列表）。
• 提供一种与复杂、难以实现的算法相比性能不逊色的有力替代方案。

提出的方法

• 该算法在可能的节点排序空间中进行搜索，而非在所有可能的贝叶斯网络结构中进行搜索。
• 对于每个候选排序，使用动态规划方法计算与该排序一致的最优贝叶斯网络结构。
• 搜索采用贪心爬山策略，逐步探索排序，每一步选择表现最佳的排序。
• 该方法避免了昂贵的无环性检查，因为从给定排序导出的所有网络都天然无环。
• 使用评分函数（如BIC或BDeu）评估每个排序所找到网络的质量。
• 算法使用禁忌列表防止重新访问最近探索过的排序，从而提升搜索多样性。

实验结果

研究问题

• RQ1 在贝叶斯网络学习中，对节点排序进行搜索是否能优于传统的结构空间搜索？
• RQ2 将搜索限制在排序空间是否能带来比标准贪心爬山法（带禁忌列表）更高的得分和更快的收敛速度？
• RQ3 基于排序的简单高效算法能否实现与复杂、最先进的方法相当的性能？
• RQ4 结构空间搜索与排序空间搜索在分支因子和搜索空间大小方面有何比较？
• RQ5 基于排序的方法在多大程度上避免了昂贵的无环性检查？

主要发现

• 在合成数据集和真实世界数据集上，OBS在网络得分和运行时间方面均优于标准的贪心爬山法（带禁忌列表）。
• 尽管实现简单且实现开销低，该方法在得分上仍与更复杂的算法具有竞争力。
• 排序空间的搜索空间远小于所有可能的贝叶斯网络结构空间，从而支持更多全局搜索步骤。
• 排序空间中的分支因子低于结构空间，使得探索更加高效。
• 由于从给定排序导出的所有网络都保证无环，该算法避免了昂贵的无环性检查。
• 实证结果表明，OBS在基准数据集上的BIC得分更高，收敛速度更快。