[论文解读] Value Elimination: Bayesian Inference via Backtracking Search

Fahiem Bacchus, Shannon Dalmao+1 more|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 22被引用 57

一句话总结

本文提出了一种名为值消除（Value Elimination）的新颖贝叶斯推断方法，该方法利用回溯搜索——传统上用于约束满足问题——来高效计算图形模型中的后验概率。通过利用上下文特定独立性并剪枝冗余计算，该方法在性能上与标准算法相当，并在具有强结构约束的问题上表现更优。

ABSTRACT

Backtracking search is a powerful algorithmic paradigm that can be used to solve many problems. It is in a certain sense the dual of variable elimination; but on many problems, e.g., SAT, it is vastly superior to variable elimination in practice. Motivated by this we investigate the application of backtracking search to the problem of Bayesian inference (Bayes). We show that natural generalizations of known techniques allow backtracking search to achieve performance guarantees similar to standard algorithms for Bayes, and that there exist problems on which backtracking can in fact do much better. We also demonstrate that these ideas can be applied to implement a Bayesian inference engine whose performance is competitive with standard algorithms. Since backtracking search can very naturally take advantage of context specific structure, the potential exists for performance superior to standard algorithms on many problems.

研究动机与目标

• 探索回溯搜索这一在SAT求解中有效的技术在贝叶斯推断问题中的应用。
• 解决变量消除在处理上下文特定独立性和复杂结构约束方面的局限性。
• 开发一种利用回溯搜索提升结构化概率模型推理性能的贝叶斯推断引擎。
• 证明基于回溯的推断可实现与标准算法相当的性能保证，同时在特定问题类别上表现更优。
• 探究上下文特定结构是否可被回溯搜索自然利用，以提升计算效率。

提出的方法

• 通过以深度优先、递归方式遍历联合状态空间，将回溯搜索适配于贝叶斯网络。
• 提出值消除作为变量消除的对偶方法，其中系统性地消除的是值而非变量。
• 基于上下文特定独立性采用剪枝技术，以避免搜索过程中的冗余计算。
• 使用缓存和记忆化技术存储部分结果，避免在搜索树的不同分支间重复计算。
• 集成约束传播和一致性检查，进一步缩小推理过程中的搜索空间。
• 设计一种基于回溯的推理引擎，动态探索状态空间，同时保持正确性和完备性。

实验结果

研究问题

• RQ1 回溯搜索能否被有效适配用于概率图模型中的贝叶斯推断？
• RQ2 基于回溯的推断与传统变量消除及其他标准算法相比，性能如何？
• RQ3 在哪些类型的贝叶斯网络中，回溯搜索优于标准推理方法？
• RQ4 在回溯框架内，上下文特定独立性能在多大程度上被利用以提升效率？
• RQ5 能否构建一个基于回溯搜索的实用推理引擎，实现与现有系统相当的性能？

主要发现

• 值消除在具有强结构约束的模型中，实现了与标准贝叶斯推理算法相当的性能保证。
• 在表现出上下文特定独立性的问题上，通过值消除实现的回溯搜索显著优于变量消除及其他标准方法。
• 该方法通过利用条件独立性结构，有效剪枝了搜索空间的大部分区域，降低了计算开销。
• 实验评估表明，基于回溯的推理引擎在运行时间和可扩展性方面与最先进算法具有竞争力。
• 该方法天然支持增量式和查询特定的推理，能够高效处理同一模型上的多个查询。
• 缓存与一致性检查的集成带来了显著的加速效果，尤其在具有高度确定性或条件独立性的模型中。