[论文解读] Negative Tree Reweighted Belief Propagation

Qiang Liu, Alexander Ihler|arXiv (Cornell University)|Mar 15, 2012

Error Correcting Code Techniques参考文献 6被引用 4

一句话总结

本文提出了一种新型的对数分区函数下界近似方法——负权重树重加权信念传播（NTRBP），该方法通过使用负权重的生成树的线性组合，在马尔可夫随机场中实现对对数分区函数的下界逼近。通过反转Jensen不等式，NTRBP 提供了比平均场方法更紧的下界，并推广了结构化平均场近似方法，为图模型中的变分推断提供了非凸优化框架。

ABSTRACT

We introduce a new class of lower bounds on the log partition function of a Markov random field which makes use of a reversed Jensen's inequality. In particular, our method approximates the intractable distribution using a linear combination of spanning trees with negative weights. This technique is a lower-bound counterpart to the tree-reweighted belief propagation algorithm, which uses a convex combination of spanning trees with positive weights to provide corresponding upper bounds. We develop algorithms to optimize and tighten the lower bounds over the non-convex set of valid parameter values. Our algorithm generalizes mean field approaches (including naive and structured mean field approximations), which it includes as a limiting case.

研究动机与目标

• 开发马尔可夫随机场对数分区函数的更紧下界，该函数通常难以精确计算。
• 通过引入对偶下界方法，克服现有上界方法（如树重加权信念传播）的局限性。
• 通过将所提框架的极限情况形式化，推广平均场近似方法（包括朴素和结构化变体）。
• 在有效参数值的非凸集合上优化下界，以实现改进的变分推断。
• 提供一种新的变分推断技术，与现有上界方法互补，并提升近似精度。

提出的方法

• 通过在负权重生成树的线性组合上应用反转的Jensen不等式，提出对数分区函数的下界。
• 通过将负系数的生成树组合起来构建变分近似，形成在有效参数集合上的非凸优化问题。
• 推导出一个最大化下界的目标函数，利用生成树的结构来建模图模型中的依赖关系。
• 开发迭代算法以优化下界，将信念传播原理扩展至负权重树组合。
• 建立所提方法与平均场近似之间的联系，表明当树权重趋近于零时，平均场即为极限情况。
• 采用非凸优化框架以收紧下界，从而更准确逼近真实分区函数。

实验结果

研究问题

• RQ1 能否通过反转Jensen不等式，为马尔可夫随机场中的对数分区函数推导出更紧的下界？
• RQ2 如何利用负权重生成树构建对难以处理的图模型的有效变分近似？
• RQ3 所提方法在何种意义上推广或包含现有的平均场方法？
• RQ4 对负权重树组合的非凸优化能否产生优于标准平均场或树重加权方法的变分下界？
• RQ5 所提的下界方法与上界树重加权信念传播算法之间存在何种关系？

主要发现

• 通过利用反转的Jensen不等式，所提方法在对数分区函数上提供了有效的下界，实现了比标准平均场方法更紧的近似。
• 该框架推广了朴素和结构化平均场近似，当树权重趋近于零时，这两种方法即为极限情况。
• 通过在负权重生成树组合的非凸集合上进行优化，该方法实现了改进的变分下界，为树重加权信念传播的凸上界方法提供了对偶。
• 实验结果表明，与平均场近似相比，该方法的下界更紧，尤其在具有强依赖关系的模型中表现更优。
• 该算法成功地将信念传播原理扩展至负权重树组合，为图模型中的新推理能力提供了支持。
• 该方法为上界方法提供了互补的替代方案，增强了马尔可夫随机场中变分推断的整体工具集。