[论文解读] Optimality of Approximate Inference Algorithms on Stable Instances

Hunter Lang, David Sontag+1 more|arXiv (Cornell University)|Nov 6, 2017

Neural Networks and Applications被引用 3

一句话总结

本文建立了两种广泛使用的近似推理算法——LP松弛和α扩张——在铁磁Potts模型中可证明恢复最优MAP解的理论条件。引入了(p,q)-稳定性条件：当满足(2,1)-稳定性时，LP松弛是精确的；当满足(1,2)-稳定性时，α扩张是精确的，从而解释了这些算法在现实世界实例中表现强劲的原因，超越了最坏情况下的保证。

ABSTRACT

Approximate algorithms for structured prediction problems---such as LP relaxations and the popular alpha-expansion algorithm (Boykov et al. 2001)---typically far exceed their theoretical performance guarantees on real-world instances. These algorithms often find solutions that are very close to optimal. The goal of this paper is to partially explain the performance of alpha-expansion and an LP relaxation algorithm on MAP inference in Ferromagnetic Potts models (FPMs). Our main results give stability conditions under which these two algorithms provably recover the optimal MAP solution. These theoretical results complement numerous empirical observations of good performance.

研究动机与目标

• 解释理论最坏情况保证与结构化预测中近似推理算法强大经验性能之间的差距。
• 识别现实世界实例中使MAP推理可 tractable（可处理）的结构性质，尽管其本质上是NP难的。
• 形式化流行算法（如LP松弛和α扩张）在何种稳定性条件下可实现精确解。
• 为α扩张和LP松弛在实践中表现出的鲁棒性和近似最优性提供理论依据。

提出的方法

• 基于边和节点成本的扰动，引入(p,q)-稳定性作为实例可处理性的正式条件。
• 通过展示在(2,1)-稳定性下分数解是紧致的，分析LP松弛，使用舍入论证和整数规划间隙分析。
• 将α扩张算法应用于稳定实例，证明所有扩张移动均保持最优性，且算法收敛至全局最优解。
• 使用对抗性扰动测试稳定性：对于(1,2)-稳定实例，LP解保持为分数解；对于(2,1)-稳定实例，α扩张可能失败。
• 采用一种舍入框架，通过扩张移动将ε-接近的分数解映射为整数标签分配。
• 证明在(1,2)-稳定实例上，α扩张无论初始化如何均能到达最优解，这是由于通过扩张移动实现单调改进。

实验结果

研究问题

• RQ1 在何种条件下，铁磁Potts模型中MAP推理的LP松弛在实践中能产生整数最优解？
• RQ2 为何α扩张算法尽管在最坏情况下仅为2-近似，却能持续找到接近最优的解？
• RQ3 稳定性条件能否解释α扩张对初始标签选择的鲁棒性？
• RQ4 是否存在形式化的稳定性准则，使得α扩张和LP松弛可证明恢复最优解？
• RQ5 当实例在相反的稳定性条件下稳定时，这些算法是否会出现失效？

主要发现

• 在(2,1)-稳定实例上，LP松弛可被证明是精确的，其中扰动配置下节点成本至多为边成本的两倍。
• α扩张算法在(1,2)-稳定实例上，无论初始化如何，均能恢复最优解，这是由于通过扩张移动实现单调改进。
• 一个反例表明，LP松弛在(1,2)-稳定实例上可能产生分数解，证明该条件不足以保证LP的紧致性。
• 另一个反例表明，α扩张在(2,1)-稳定实例上可能无法找到最优解，表明该稳定性条件对α扩张而言是必要但不充分的。
• 在(2,2)-稳定实例上，LP松弛和α扩张均为精确解，表明存在一个强稳定性区域，使两种算法均能实现最优性。
• 结果解释了α扩张的经验鲁棒性：在稳定实例上，能量景观确保所有扩张移动均导向全局最优。