[论文解读] The Lazy Flipper: MAP Inference in Higher-Order Graphical Models by Depth-limited Exhaustive Search

Bjoern Andres, Joerg H. Kappes+2 more|arXiv (Cornell University)|Sep 21, 2010

Evolutionary Algorithms and Applications参考文献 35被引用 4

一句话总结

本文提出 Lazy Flipper，一种用于高阶图模型 MAP 推断的深度受限穷举搜索算法。该方法系统地探索变量的连通子图，通过翻转子集单调降低能量，并在达到完整深度时保证收敛至全局最优解。在真实和合成模型上，该方法优于当前最先进的消息传递和次梯度方法，在使用 BP 初始化时，近似解与全局最优解的差距在 0.1% 以内。

ABSTRACT

This article presents a new search algorithm for the NP-hard problem of optimizing functions of binary variables that decompose according to a graphical model. It can be applied to models of any order and structure. The main novelty is a technique to constrain the search space based on the topology of the model. When pursued to the full search depth, the algorithm is guaranteed to converge to a global optimum, passing through a series of monotonously improving local optima that are guaranteed to be optimal within a given and increasing Hamming distance. For a search depth of 1, it specializes to Iterated Conditional Modes. Between these extremes, a useful tradeoff between approximation quality and runtime is established. Experiments on models derived from both illustrative and real problems show that approximations found with limited search depth match or improve those obtained by state-of-the-art methods based on message passing and linear programming.

研究动机与目标

• 解决具有任意结构和阶数的高阶图模型中 MAP 推断的 NP-难问题。
• 开发一种确定性、非冗余的搜索算法，基于模型拓扑结构约束搜索空间。
• 通过深度受限搜索建立运行时间与近似质量之间的可调制权衡。
• 通过界定能量与全局最优解之间的差距，为近似解提供保证质量的证书。

提出的方法

• 该算法对变量的连通子图执行深度受限的穷举搜索，从初始赋值开始。
• 使用 CS-tree 数据结构唯一且高效地枚举所有连通子图，避免冗余探索。
• 采用拓扑剪枝机制，排除那些翻转无法降低能量的子图，依据先前失败的翻转尝试和模型结构。
• 该算法贪婪地翻转可降低能量的变量子集，并在每次翻转后重新访问受影响的较小子集。
• 通过控制搜索深度来平衡近似质量与运行时间，其中深度 1 等价于 ICM。
• 通过代码隐式评估势函数，仅需函数评估和图遍历操作。

实验结果

研究问题

• RQ1 一种确定性、拓扑感知的搜索算法是否能在高阶图模型中实现优于现有消息传递和次梯度方法的近似质量？
• RQ2 在 MAP 推断中，搜索深度在运行时间与近似质量之间控制权衡的程度如何？
• RQ3 对连通子图执行的深度受限穷举搜索是否能保证产生单调改进的解序列，并提供质量证书？
• RQ4 该算法在真实和合成模型上与 ICM、BP、TRBP 和对偶分解的性能相比如何？

主要发现

• 在使用 BP 近似初始化（100 秒）后，Lazy Flipper 在 50,000 秒内将平均偏离全局最优解的幅度从 0.4% 降低至 0.1%。
• 该算法实现了与当前最先进方法（包括 BP、TRBP 和使用次梯度下降的对偶分解）相当或更优的近似结果。
• 对于高连通性模型，该算法性能受限于 CS-tree 的内存使用，50,000 秒后存储了 2×10⁸ 个子集。
• 该算法严格收敛，并保证更高的搜索深度可提供最小能量的更紧上界。
• 该方法适用于任何图模型结构，包括不规则图和高阶势函数，无需结构假设。
• 对于固定搜索深度，该算法的运行时间与模型规模近似呈线性关系，而暴力搜索则随变量数呈指数增长。