[论文解读] On Pruning for Score-Based Bayesian Network Structure Learning

Alvaro H. C. Correia, James Cussens+1 more|TU/e Research Portal|May 23, 2019

Bayesian Modeling and Causal Inference参考文献 18被引用 4

一句话总结

本文提出了贝叶斯网络结构学习中贝叶斯狄里克特等价均匀（BDeu）得分的更紧致的理论上限，使得在无需计算得分的情况下即可更激进地剪枝候选父节点集合。所提出的边界通过针对得分函数和最大似然性质的创新数学分析推导得出，其紧致性在理论上优于现有方法，显著减少了搜索空间，且计算开销极低，从而提升了精确结构学习的效率。

ABSTRACT

Many algorithms for score-based Bayesian network structure learning (BNSL), in particular exact ones, take as input a collection of potentially optimal parent sets for each variable in the data. Constructing such collections naively is computationally intensive since the number of parent sets grows exponentially with the number of variables. Thus, pruning techniques are not only desirable but essential. While good pruning rules exist for the Bayesian Information Criterion (BIC), current results for the Bayesian Dirichlet equivalent uniform (BDeu) score reduce the search space very modestly, hampering the use of the (often preferred) BDeu. We derive new non-trivial theoretical upper bounds for the BDeu score that considerably improve on the state-of-the-art. Since the new bounds are mathematically proven to be tighter than previous ones and at little extra computational cost, they are a promising addition to BNSL methods.

研究动机与目标

• 为解决精确贝叶斯网络结构学习（BNSL）中因候选父节点集合指数级增长而导致的计算瓶颈问题。
• 开发BDeu得分的更紧致理论上限，以实现对次优父节点集合更有效的剪枝。
• 提升使用BDeu得分的精确BNSL的可扩展性，该得分虽常被偏好但因前期工作剪枝能力弱而计算上具有挑战性。
• 提供在数学上可证明更紧致且计算高效的边界，以便无缝集成到现有BNSL算法中。

提出的方法

• 通过细化BDeu得分函数的数学结构，推导出新边界 ub_g，利用其性质实现比先前最先进方法（ub_f）更紧致的边界。
• 提出第二个边界 ub_h，基于改进的最大似然估计方法，提供具有独立理论依据的互补剪枝机制。
• 通过 min{ub_g, ub_h} 组合 ub_g 和 ub_h，形成更紧致的混合边界，可剪枝搜索空间中互不重叠的区域。
• 通过设计仅需单次数据遍历的边界，确保计算效率，使其具备线性时间复杂度，并与现有BNSL流水线兼容。
• 在UCI数据集上对边界进行实证验证，证明其显著减少了得分计算次数和候选父节点集合的大小。

实验结果

研究问题

• RQ1 能否推导出比当前最先进方法在剪枝效率上显著更优的BDeu得分更紧致理论上限？
• RQ2 新边界 ub_g 和 ub_h 在剪枝效果上如何比较？它们的组合能否实现更优性能？
• RQ3 在实际应用中，所提出的边界在多大程度上减少了BDeu得分计算次数和候选父节点集合的大小？
• RQ4 新边界是否足够高效，可实际应用于精确BNSL流水线而不增加计算成本？

主要发现

• 所提出的边界 ub_g 在数学上被证明对所有候选父节点集合均比先前最先进边界 ub_f 更紧致。
• 基于最大似然估计新路径推导出的边界 ub_h 具有独立的剪枝能力，且不被 ub_f 所主导。
• 组合边界 min{ub_g, ub_h} 的剪枝效果显著优于 ub_f，如图2所示，其更接近真实最优得分。
• 在UCI数据集上的实证结果（图3）表明，新边界大幅减少了BDeu得分的计算次数，尤其在变量数超过10个的大数据集中效果显著。
• 边界计算高效，仅需单次数据遍历，可无缝集成到任意BNSL方法中，且计算开销极低。