[论文解读] The Relationship Between AND/OR Search and Variable Elimination

Robert Mateescu, Rina Dechter|arXiv (Cornell University)|Jul 4, 2012

Constraint Satisfaction and Optimization参考文献 17被引用 20

一句话总结

本文建立了图形模型中 AND/OR 搜索与变量消去（VE）之间的形式化联系，证明 VE 可被视为一种带有隐式剪枝的 AND/OR 搜索形式。它表明，内存密集型的 AND/OR 搜索通过利用变量消去顺序和约束结构，推广并统一了多种推理算法，包括递归条件化和值消去，从而提高了效率和可扩展性。

ABSTRACT

In this paper we compare search and inference in graphical models through the new framework of AND/OR search. Specifically, we compare Variable Elimination (VE) and memoryintensive AND/OR Search (AO) and place algorithms such as graph-based backjumping and no-good and good learning, as well as Recursive Conditioning [7] and Value Elimination [2] within the AND/OR search framework.

研究动机与目标

• 建立图形模型中 AND/OR 搜索与变量消去（VE）之间的正式理论关系。
• 在 AND/OR 搜索框架内统一多种推理算法，如递归条件化、值消去以及无好解/好解学习。
• 证明 VE 可被解释为一种带有隐式剪枝和结构利用的特定 AND/OR 搜索形式。
• 分析变量消去顺序在引导 AND/OR 搜索以提升推理性能方面的作用。
• 在基于搜索与基于推理的方法之间，提供概念与算法上的桥梁，用于概率推理。

提出的方法

• 引入 AND/OR 搜索作为探索图形模型搜索空间的框架，使用 AND 节点和 OR 节点表示变量赋值与约束。
• 将变量消去重新表述为一种内存密集型的 AND/OR 搜索过程，其中消去顺序定义了搜索结构。
• 利用变量消去顺序引导 AND/OR 搜索树的构建，实现中间结果的有效剪枝与缓存。
• 将 AND/OR 搜索框架应用于推广和统一现有算法，如递归条件化和值消去。
• 在 AND/OR 搜索结构中应用基于约束的剪枝技术（例如无好解和好解学习），以减少搜索空间。
• 通过展示 VE 等价于一种具有隐式缓存与消去的特定 AND/OR 搜索策略，分析搜索与推理之间的对偶性。

实验结果

研究问题

• RQ1 如何将变量消去正式映射到 AND/OR 搜索框架中？
• RQ2 AND/OR 搜索树与变量消去顺序之间存在何种结构关系？
• RQ3 现有推理算法（如递归条件化和值消去）在多大程度上可作为 AND/OR 搜索框架中的特例出现？
• RQ4 在 VE 背景下，约束学习（无好解与好解学习）的集成如何增强 AND/OR 搜索性能？
• RQ5 AND/OR 搜索框架能否统一并推广图形模型中多种多样的推理策略？

主要发现

• 变量消去在形式上等价于一种利用变量消去顺序来引导搜索过程的内存密集型 AND/OR 搜索特定形式。
• AND/OR 搜索框架通过将算法表达为结构化搜索过程，推广并统一了多种推理算法，包括递归条件化和值消去。
• 约束学习技术（如无好解与好解学习）可自然地集成到 AND/OR 搜索中，提升剪枝效果并减少搜索空间。
• 该框架揭示了 VE 通过变量消去顺序实现隐式缓存与剪枝，而这些在 AND/OR 搜索中被显式建模。
• AND/OR 搜索为推理过程提供了更透明且可扩展的表示，使得概率推理算法的分析与优化更加高效。
• 该理论联系为理解图形模型中推理的效率与可扩展性提供了新见解，特别是在高树宽与结构化问题中。