[论文解读] Solving MAP Exactly using Systematic Search

James D. Park, Adnan Darwiche|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 10被引用 62

一句话总结

本文提出了一种新颖的分支定界算法，用于通过一种新型且可高效计算的MAP解概率上界，精确求解贝叶斯网络中的MAP（后验最大估计）问题。该方法在上界质量与计算时间之间实现权衡，使得具有超过40的受限树宽的网络也能实现精确求解，远超以往基于结构的方法的处理能力。

ABSTRACT

MAP is the problem of finding a most probable instantiation of a set of variables in a Bayesian network given some evidence. Unlike computing posterior probabilities, or MPE (a special case of MAP), the time and space complexity of structural solutions for MAP are not only exponential in the network treewidth, but in a larger parameter known as the "constrained" treewidth. In practice, this means that computing MAP can be orders of magnitude more expensive than computing posterior probabilities or MPE. This paper introduces a new, simple upper bound on the probability of a MAP solution, which admits a tradeoff between the bound quality and the time needed to compute it. The bound is shown to be generally much tighter than those of other methods of comparable complexity. We use this proposed upper bound to develop a branch-and-bound search algorithm for solving MAP exactly. Experimental results demonstrate that the search algorithm is able to solve many problems that are far beyond the reach of any structure-based method for MAP. For example, we show that the proposed algorithm can compute MAP exactly and efficiently for some networks whose constrained treewidth is more than 40.

研究动机与目标

• 为解决贝叶斯网络中精确MAP推理的高计算复杂度问题，该问题比MPE或后验概率计算更为昂贵。
• 开发一种实用的精确MAP算法，使其可扩展至超越基于结构的方法的限制。
• 提出一种新的MAP解概率上界，平衡紧致性与计算成本。
• 使具有高受限树宽的网络也能实现精确MAP求解，而这些网络在以往方法下是不可行的。

提出的方法

• 提出一种可高效计算的MAP解概率上界，支持在质量与时间之间进行可调的权衡。
• 在分支定界搜索框架中使用该上界，以在精确MAP计算过程中剪枝搜索空间。
• 利用系统化搜索，在结构化且完整的方式下探索变量赋值空间。
• 设计该上界，使其在与现有方法复杂度相当的情况下，比现有方法更紧致，从而提升剪枝效率。
• 将该上界集成到搜索算法中，确保正确性的同时显著减少搜索开销。

实验结果

研究问题

• RQ1 能否设计一种新的MAP解概率上界，使其在紧致性与计算效率之间实现平衡？
• RQ2 该上界是否可在分支定界框架中有效使用，以精确求解受限树宽较高的网络中的MAP问题？
• RQ3 所提方法是否在求解困难的MAP实例时优于现有的基于结构的方法？
• RQ4 该上界可调性在多大程度上能提升不同贝叶斯网络结构下的搜索性能？

主要发现

• 所提出的上界在计算成本相近的现有方法中显著更紧致，从而在搜索过程中实现更有效的剪枝。
• 分支定界算法成功求解了受限树宽大于40的贝叶斯网络中的精确MAP问题，而这些问题是以往基于结构的方法无法处理的。
• 该方法展现出显著的可扩展性提升，能够求解比以往可处理的复杂度高出数个数量级的实例。
• 上界质量与计算时间之间的权衡使用户可根据可用资源调整算法，而不会牺牲正确性。