[论文解读] Tightening LP Relaxations for MAP using Message Passing

David Sontag, Talya Meltzer+3 more|arXiv (Cornell University)|Jun 13, 2012

Gene Regulatory Network Analysis参考文献 19被引用 251

一句话总结

该论文提出了一种基于对偶分解的消息传递算法，通过迭代选择高影响聚类，逐步强化图模型中MAP推理的线性规划（LP）松弛。通过重用先前解并确保对偶目标的单调改进，该方法能高效地将松弛程度收紧至标准LP无法达到的水平，成功解决了蛋白质侧链定位和立体匹配等标准LP失效的难题。

ABSTRACT

Linear Programming (LP) relaxations have become powerful tools for finding the most probable (MAP) configuration in graphical models. These relaxations can be solved efficiently using message-passing algorithms such as belief propagation and, when the relaxation is tight, provably find the MAP configuration. The standard LP relaxation is not tight enough in many real-world problems, however, and this has lead to the use of higher order cluster-based LP relaxations. The computational cost increases exponentially with the size of the clusters and limits the number and type of clusters we can use. We propose to solve the cluster selection problem monotonically in the dual LP, iteratively selecting clusters with guaranteed improvement, and quickly re-solving with the added clusters by reusing the existing solution. Our dual message-passing algorithm finds the MAP configuration in protein sidechain placement, protein design, and stereo problems, in cases where the standard LP relaxation fails.

研究动机与目标

• 为解决标准LP松弛在图模型中对实际问题松弛不足的局限性。
• 通过实现高效、增量式的聚类选择，克服高阶聚类基LP松弛带来的指数级计算成本。
• 开发一种方法，实现对偶目标的单调改进，同时重用先前解以保持效率。
• 在标准LP松弛失效的情况下，实现对MAP配置的可证明收敛。
• 使更紧致的LP松弛在蛋白质设计和立体匹配等复杂推理任务中具备实际应用可行性。

提出的方法

• 该方法使用对偶分解，迭代识别并添加最能提升对偶目标函数的聚类。
• 将聚类选择问题形式化为对偶LP中的子问题，确保每次添加均带来对偶目标的单调改进。
• 算法重用先前的LP松弛解，实现每次聚类添加后的快速重新优化。
• 在对偶问题中应用消息传递技术，高效计算必要更新并识别有前景的聚类。
• 该方法结合聚类基收紧与对偶上升，保持收敛性保证的同时可扩展至更大规模问题。
• 该方法实现为一种对偶消息传递算法，根据对偶变量更新动态选择聚类。

实验结果

研究问题

• RQ1 我们能否系统性地强化图模型中MAP推理的LP松弛，超越标准公式？
• RQ2 如何在不引发指数级计算成本的前提下，高效选择高影响聚类？
• RQ3 我们能否在迭代收紧过程中保持对偶单调性并重用先前解，以加速收敛？
• RQ4 所提方法是否能在标准LP松弛失效的问题中实现可证明的MAP推理？
• RQ5 该方法能否在蛋白质侧链定位和立体匹配等实际问题中实现实际应用？

主要发现

• 所提方法在标准LP松弛失效的蛋白质侧链定位问题中成功找到MAP配置。
• 在立体匹配任务中实现最优解收敛，即使标准LP松弛不紧致。
• 通过重用先前解，算法展现出显著的计算效率，大幅降低各轮迭代的重新优化成本。
• 迭代聚类选择带来对偶目标的单调改进，确保收敛至更紧致的松弛。
• 在计算生物学和计算机视觉的基准问题上，该方法在解质量上优于标准LP松弛。