[论文解读] Structured Region Graphs: Morphing EP into GBP

Max Welling, Thomas P. Minka+1 more|arXiv (Cornell University)|Jul 4, 2012

Evolutionary Algorithms and Applications参考文献 8被引用 32

一句话总结

本文提出了结构化区域图（structured region graphs），这是一种统一框架，通过在区域中嵌入指数族结构，将期望传播（expectation propagation, EP）与环状信念传播（loopy belief propagation, GBP）相结合。研究揭示了EP在离散变量上的近似是GBP的特例，反之亦然，同时确保了最大熵正则性（maxent-normality）和计数数为一（counting number one）等结构特性，从而在概率推理中实现高质量且用户可调的近似。

ABSTRACT

GBP and EP are two successful algorithms for approximate probabilistic inference, which are based on different approximation strategies. An open problem in both algorithms has been how to choose an appropriate approximation structure. We introduce 'structured region graphs', a formalism which marries these two strategies, reveals a deep connection between them, and suggests how to choose good approximation structures. In this formalism, each region has an internal structure which defines an exponential family, whose sufficient statistics must be matched by the parent region. Reduction operators on these structures allow conversion between EP and GBP free energies. Thus it is revealed that all EP approximations on discrete variables are special cases of GBP, and conversely that some wellknown GBP approximations, such as overlapping squares, are special cases of EP. Furthermore, region graphs derived from EP have a number of good structural properties, including maxent-normality and overall counting number of one. The result is a convenient framework for producing high-quality approximations with a user-adjustable level of complexity

研究动机与目标

• 在统一的形式化框架下统一期望传播（EP）与环状信念传播（GBP）。
• 解决EP与GBP中选择最优近似结构这一开放问题。
• 通过基于区域的表示，揭示EP与GBP之间的深层结构联系。
• 提供一个可构建高质量近似且用户可调节复杂度的框架。

提出的方法

• 提出结构化区域图，其中每个区域具有内部指数族结构，其充分统计量与父区域相匹配。
• 定义了还原算子，用于在EP与GBP的自由能表达式之间转换，从而实现两种算法之间的系统转换。
• 施加结构约束，如最大熵正则性与整体计数数为一，以确保一致性与稳定性。
• 利用源自EP的区域图生成有效的GBP近似，反之亦然，证明在特定条件下两者等价。
• 采用分层区域结构，使父区域对子区域的充分统计量实施矩匹配。
• 将该形式化方法应用于证明：离散变量上的EP近似是GBP的特例；而如重叠方块等著名GBP结构，也是EP的特例。

实验结果

研究问题

• RQ1 EP与GBP如何在单一近似框架下实现形式化统一？
• RQ2 哪些结构特性可确保基于区域的近似中的一致性与高质量推理？
• RQ3 离散变量上的EP近似能否表示为GBP的特例？
• RQ4 如重叠方块等著名GBP结构，能否被解释为EP的实例？
• RQ5 如何在保持精度的前提下控制近似复杂度？

主要发现

• 在结构化区域图形式化框架下，所有离散变量上的EP近似均为GBP的特例。
• 当通过结构化区域图框架观察时，如重叠方块等著名GBP近似结构，均为EP的特例。
• 源自EP的区域图具备优良的结构特性，包括最大熵正则性与整体计数数为一。
• EP与GBP自由能之间的还原算子，使两种算法之间的系统转换成为可能。
• 该框架支持用户可调复杂度的高质量近似。
• 该形式化揭示了EP与GBP之间深刻的对偶性，将两者近似策略统一于同一数学结构之下。