[论文解读] Systematic vs. Non-systematic Algorithms for Solving the MPE Task

Radu Marinescu, Kalev Kask+1 more|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用 19

一句话总结

本文比较了用于贝叶斯网络中最大后验解释（MPE）任务的系统性分支定界算法（BBBT 和 BBMB）与非系统性局部搜索方法。结果表明，BBBT/BBMB 显著优于当前最先进的随机局部搜索（SLS）算法，尤其在变量域大小超过 2 时，使其成为迄今最有效的 MPE 求解器。

ABSTRACT

The paper continues the study of partitioning based inference of heuristics for search in the context of solving the Most Probable Explanation task in Bayesian Networks. We compare two systematic Branch and Bound search algorithms, BBBT (for which the heuristic information is constructed during search and allows dynamic variable/value ordering) and its predecessor BBMB (for which the heuristic information is pre-compiled), against a number of popular local search algorithms for the MPE problem. We show empirically that, when viewed as approximation schemes, BBBT/BBMB are superior to all of these best known SLS algorithms, especially when the domain sizes increase beyond 2. This is in contrast with the performance of SLS vs. systematic search on CSP/SAT problems, where SLS often significantly outperforms systematic algorithms. As far as we know, BBBT/BBMB are currently the best performing algorithms for solving the MPE task.

研究动机与目标

• 评估系统性分支定界算法（BBBT 和 BBMB）在贝叶斯网络 MPE 任务中相对于非系统性局部搜索方法的性能。
• 探究系统性搜索是否能在 MPE 问题中超越随机局部搜索（SLS），与在 CSP/SAT 问题中观察到的趋势相反。
• 评估启发式构造方式——搜索过程中动态构建（BBBT）与预先编译（BBMB）——对 MPE 解的质量和效率的影响。
• 确定随着域大小增加，系统性与非系统性方法在可扩展性和鲁棒性方面的表现。

提出的方法

• 本研究采用两种系统性分支定界算法：BBBT 在搜索过程中动态构建启发式信息，以实现变量/值的排序；BBMB 使用预先编译的启发式信息。
• 通过基于划分的推理方法生成启发式估计，以有效剪枝搜索空间。
• 使用一系列流行的随机局部搜索（SLS）算法作为基线进行比较。
• 在多种贝叶斯网络结构上进行实证评估，域大小逐步增加。
• 性能通过解的质量和计算效率进行衡量，尤其关注域基数超过 2 的情况。

实验结果

研究问题

• RQ1 系统性分支定界搜索是否在解决贝叶斯网络中的 MPE 任务时优于随机局部搜索（SLS）算法？
• RQ2 与依赖预编译启发式的 BBMB 相比，搜索过程中动态构建启发式的 BBBT 在 MPE 解的质量和搜索效率方面表现如何？
• RQ3 随着域大小的增加，系统性算法相对于 SLS 方法的性能优势是否更加明显？
• RQ4 BBBT 和 BBMB 是否在所有已知的 SLS 算法中表现最优，特别是在大域场景下？

主要发现

• BBBT 和 BBMB 在 MPE 任务中始终优于所有测试的随机局部搜索（SLS）算法，尤其在域大小超过 2 时表现更优。
• 随着域基数的增加，系统性方法与非系统性方法之间的性能差距扩大，表明系统性方法在此情境下具有更强的可扩展性。
• BBBT 通过在搜索过程中动态构建启发式信息，获得比依赖预编译启发式的 BBMB 更优的解质量。
• 据作者所知，BBBT 和 BBMB 是迄今解决 MPE 任务表现最佳的算法。