[论文解读] Pruning Bayesian Networks for Efficient Computation

Michelle Baker, Terrance E. Boult|arXiv (Cornell University)|Mar 27, 2013

Bayesian Modeling and Causal Inference被引用 31

一句话总结

本文提出一种预处理技术，通过移除与特定变量查询计算无关的无关子结构，对贝叶斯网络进行剪枝，从而在不改变结果的前提下降低计算复杂度。通过在 O(e) 时间内构建一个最小的计算等价子图（其中 e 为边数），该方法实现了高效的推理与并行化处理，并提供了最小性的理论证明，尤其在非单连通网络中具有实际的计算节省效果。

ABSTRACT

This paper analyzes the circumstances under which Bayesian networks can be pruned in order to reduce computational complexity without altering the computation for variables of interest. Given a problem instance which consists of a query and evidence for a set of nodes in the network, it is possible to delete portions of the network which do not participate in the computation for the query. Savings in computational complexity can be large when the original network is not singly connected. Results analogous to those described in this paper have been derived before [Geiger, Verma, and Pearl 89, Shachter 88] but the implications for reducing complexity of the computations in Bayesian networks have not been stated explicitly. We show how a preprocessing step can be used to prune a Bayesian network prior to using standard algorithms to solve a given problem instance. We also show how our results can be used in a parallel distributed implementation in order to achieve greater savings. We define a computationally equivalent subgraph of a Bayesian network. The algorithm developed in [Geiger, Verma, and Pearl 89] is modified to construct the subgraphs described in this paper with O(e) complexity, where e is the number of edges in the Bayesian network. Finally, we define a minimal computationally equivalent subgraph and prove that the subgraphs described are minimal.

研究动机与目标

• 识别并移除对指定变量查询计算无贡献的网络组件。
• 降低贝叶斯网络推理的计算复杂度，特别是在非单连通网络中。
• 开发一种预处理步骤，以加速标准推理算法的执行。
• 通过隔离相关子网络，支持并行与分布式实现。
• 形式化定义并证明所得计算等价子图的最小性。

提出的方法

• 该方法识别所有在给定证据下与查询变量 d-分离的节点和边，并将其从进一步计算中排除。
• 应用 Geiger、Verma 和 Pearl（1989）提出算法的修改版本，以构建最小的计算等价子图。
• 剪枝过程的时间复杂度为 O(e)，其中 e 为原始贝叶斯网络中的边数。
• 所得子图可保证保留所有与查询和证据相关的条件概率计算。
• 通过隔离独立子网络，该方法支持并行分布式计算。
• 定义最小计算等价子图，并通过形式化分析证明其最小性。

实验结果

研究问题

• RQ1 在何种条件下，可以安全地从贝叶斯网络中移除部分结构，而不会影响给定变量集和证据下的查询结果？
• RQ2 如何对贝叶斯网络进行预处理，以在保持推理正确性的前提下降低计算复杂度？
• RQ3 构建一个支持与原网络相同推理的最小子图，其计算复杂度是多少？
• RQ4 该剪枝方法能否在并行或分布式计算环境中有效应用，以提升性能？
• RQ5 所得子图在保留查询计算能力的前提下，是否在节点数和边数上均为最小？

主要发现

• 所提出的剪枝方法可在 O(e) 时间内构建计算等价子图，显著降低预处理开销。
• 所得子图被证明是最小的，即无法再移除任何边或节点而不改变查询结果。
• 实现了显著的计算节省，尤其在冗余较高的非单连通贝叶斯网络中。
• 该方法通过隔离独立子网络，实现了高效的并行与分布式推理。
• 该方法推广了 Geiger 等人（1989）的前期工作，并明确将剪枝与实际推理任务中的复杂度降低相联系。