[论文解读] Partial Optimality by Pruning for MAP-Inference with General Graphical Models

Paul Swoboda, Alexander Shekhovtsov+3 more|arXiv (Cornell University)|Oct 24, 2014

Error Correcting Code Techniques参考文献 8被引用 6

一句话总结

本文提出了一种新颖的多项式时间算法，用于在一般离散马尔可夫随机场的MAP推理中识别持久标记变量，通过将剪枝策略应用于凸松弛（局部多面体）的整数解。该方法在多种数据集上显著优于现有方法，包括具有高阶势函数和大标签空间的数据集，且适用于任意图模型和求解器。

ABSTRACT

We consider the energy minimization problem for undirected graphical models, also known as MAP-inference problem for Markov random fields which is NP-hard in general. We propose a novel polynomial time algorithm to obtain a part of its optimal non-relaxed integral solution. Our algorithm is initialized with variables taking integral values in the solution of a convex relaxation of the MAP-inference problem and iteratively prunes those, which do not satisfy our criterion for partial optimality. We show that our pruning strategy is in a certain sense theoretically optimal. Also empirically our method outperforms previous approaches in terms of the number of persistently labelled variables. The method is very general, as it is applicable to models with arbitrary factors of an arbitrary order and can employ any solver for the considered relaxed problem. Our method's runtime is determined by the runtime of the convex relaxation solver for the MAP-inference problem.

研究动机与目标

• 解决在无向图模型的NP难MAP推理中，识别保证属于最优解的变量的挑战。
• 开发一种通用、高效且理论基础坚实的通用方法，适用于任意阶数的势函数和标签空间。
• 通过利用凸松弛解并基于新最优性准则进行迭代剪枝，改进现有持久性准则。
• 使更强的精确求解器能够应用于剩余未标记变量，从而更高效地实现全局最优。
• 提供一种在剪枝策略上理论最优且在实际中识别持久变量数量上表现更优的方法。

提出的方法

• 该方法从MAP推理问题的凸松弛（特别是局部多面体松弛）的整数解开始。
• 应用一种新颖的剪枝准则，迭代移除不满足部分最优性条件的变量。
• 剪枝准则基于理论分析推导，确保剩余变量为持久最优。
• 该算法具有通用性，可与任何局部多面体松弛求解器兼容，包括近似或专用求解器。
• 运行时间主要由凸松弛求解器决定，因此可扩展至大规模实例。
• 该方法被证明可求解先前工作中提出的最大持久性问题的特例，并具有理论最优性保证。

实验结果

研究问题

• RQ1 能否开发一种通用且高效的方法，用于识别任意阶图模型中MAP推理的持久最优变量？
• RQ2 与现有的屋顶对偶性和标签测试方法相比，所提出的剪枝策略在识别持久变量数量方面表现如何？
• RQ3 该方法能否有效应用于具有大标签空间和高阶势函数的模型，而这些模型中先前方法失效？
• RQ4 该剪枝准则是否在明确定义的意义上理论最优？其与现有持久性框架的关系如何？
• RQ5 该方法能否在保持高持久性率的同时，高效扩展至大规模问题？

主要发现

• 所提出方法在所有数据集上均显著优于所有测试的竞争对手，包括具有大标签空间和高阶势函数的数据集。
• 在Potts模型数据集中，该方法在teddy实例中识别出超过三分之一的变量为持久变量，而竞争对手未发现任何持久变量。
• 在pano和family photomontage数据集中，该方法识别的持久变量数量显著多于MQPBO，在pano中超过三分之一的变量。
• 在蛋白质侧链预测数据集中，该方法实现了约25%的持久标签，与基于屋顶对偶的方法相当，但低于其他数据集中的表现。
• 在二值高阶细胞追踪问题中，该方法成功标记了持久变量，而其他方法不适用或不切实际。
• 在高阶多标签几何表面标记任务中，该方法是唯一适用于三元项的方法，成功识别了竞争对手无法识别的持久变量。