[论文解读] Tightening Fractional Covering Upper Bounds on the Partition Function for High-Order Region Graphs

Tamir Hazan, Jian Peng+1 more|arXiv (Cornell University)|Oct 16, 2012

Advanced Graph Theory Research参考文献 28被引用 10

一句话总结

该论文提出了一种新颖方法，通过使用熵的分数覆盖界将高阶区域图中的分区函数上界收紧，将其公式化为凹规划与凸规划。通过利用熵屏障方法与对偶块优化，该方法可为大规模问题提供高效且闭式解，显著提升了计算效率与精度，优于以往方法。

ABSTRACT

In this paper we present a new approach for tightening upper bounds on the partition function. Our upper bounds are based on fractional covering bounds on the entropy function, and result in a concave program to compute these bounds and a convex program to tighten them. To solve these programs effectively for general region graphs we utilize the entropy barrier method, thus decomposing the original programs by their dual programs and solve them with dual block optimization scheme. The entropy barrier method provides an elegant framework to generalize the message-passing scheme to high-order region graph, as well as to solve the block dual steps in closed-form. This is a key for computational relevancy for large problems with thousands of regions.

研究动机与目标

• 改进高阶区域图中分区函数的上界，这对图形模型中的近似推理至关重要。
• 解决在复杂高阶图形模型中精确计算分区函数的计算不可行性问题。
• 开发一种可扩展的优化框架，通过熵的分数覆盖实现紧致且可处理的上界。
• 利用熵屏障方法将消息传递方案推广至更高阶结构，超越成对区域。
• 通过闭式对偶块更新，实现对包含数千个区域的大规模问题的高效求解。

提出的方法

• 通过熵函数的分数覆盖公式化分区函数的上界，将问题转化为凹规划。
• 引入一个凸规划以收紧初始上界，提升其精度。
• 采用熵屏障方法分解原始问题与对偶问题，实现高效优化。
• 使用对偶块优化方案求解对偶问题，每个块更新均以闭式计算。
• 通过利用熵屏障的结构，将消息传递算法推广至高阶区域图。
• 通过每一步优化中的解析解，确保计算效率，实现大规模问题的可扩展性。

实验结果

研究问题

• RQ1 如何比现有方法更有效地收紧高阶区域图中分区函数的上界？
• RQ2 能否利用熵屏障方法将消息传递推广至高阶区域，同时保持计算效率？
• RQ3 何种优化框架可实现大规模图形模型中对偶块优化的闭式更新？
• RQ4 与标准上界技术相比，所提方法在精度与可扩展性方面表现如何？
• RQ5 熵的分数覆盖能否在复杂高阶模型中产生更紧致且更易处理的上界？

主要发现

• 所提方法在分区函数上界方面优于基线分数覆盖方法，结果更紧致。
• 采用熵屏障方法使对偶块更新实现闭式解，显著提升计算效率。
• 由于更新具有解析性质，该框架能有效扩展至包含数千个区域的大规模问题。
• 该方法将消息传递推广至成对区域之外，使高阶图形模型得以应用。
• 在UAI 2012会议论文集中的实证结果表明，该方法在基准问题上实现了更优的收敛性与更紧的上界。
• 对偶块优化方案可确保收敛至凸紧致化程序的全局最优解。