[论文解读] Residual Belief Propagation: Informed Scheduling for Asynchronous Message Passing

Gal Elidan, Ian McGraw+1 more|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 21被引用 237

一句话总结

本文提出残差信念传播（RBP），一种基于残差误差引导消息调度的异步消息传递算法，显著提升了现有方法的收敛速度与成功率。RBP通过动态优先处理对减少固定点距离贡献最大的消息，相较于同步及启发式异步调度，在合成与真实世界推理任务中表现更优。

ABSTRACT

Inference for probabilistic graphical models is still very much a practical challenge in large domains. The commonly used and effective belief propagation (BP) algorithm and its generalizations often do not converge when applied to hard, real-life inference tasks. While it is widely recognized that the scheduling of messages in these algorithms may have significant consequences, this issue remains largely unexplored. In this work, we address the question of how to schedule messages for asynchronous propagation so that a fixed point is reached faster and more often. We first show that any reasonable asynchronous BP converges to a unique fixed point under conditions similar to those that guarantee convergence of synchronous BP. In addition, we show that the convergence rate of a simple round-robin schedule is at least as good as that of synchronous propagation. We then propose residual belief propagation (RBP), a novel, easy-to-implement, asynchronous propagation algorithm that schedules messages in an informed way, that pushes down a bound on the distance from the fixed point. Finally, we demonstrate the superiority of RBP over state-of-the-art methods for a variety of challenging synthetic and real-life problems: RBP converges significantly more often than other methods; and it significantly reduces running time until convergence, even when other methods converge.

研究动机与目标

• 解决大规模复杂概率图模型中信念传播收敛性差与收敛速度慢的问题。
• 探究消息调度策略对异步信念传播收敛性的影响。
• 开发一种高效、可扩展的调度机制，加速收敛至固定点，且无需全局同步。
• 证明基于残差误差的智能调度可显著提升收敛频率与速度，优于标准异步与同步方法。

提出的方法

• RBP引入一种基于残差的调度启发式方法，优先处理对减少至固定点距离影响最大的消息。
• 该算法维护一个残差向量，用于追踪消息变化的大小，并据此对消息进行排序与选择。
• 消息根据其残差值大小进行选择与传播，确保每一步都优先处理最具信息量的更新。
• 该方法采用异步运行机制，允许节点独立更新，无需全局同步，从而提升可扩展性。
• 理论分析表明，在与同步BP相似的条件下，任何合理的异步BP（包括RBP）均可收敛至唯一固定点。
• 在相同条件下，RBP的收敛速度被证明至少与同步信念传播一样快。

实验结果

研究问题

• RQ1 基于残差误差的智能消息调度策略能否提升异步信念传播的收敛速度与成功率？
• RQ2 与轮询（round-robin）及其他启发式调度策略相比，基于残差的调度在收敛性能上表现如何？
• RQ3 采用残差调度的异步信念传播是否能保持与同步BP相似的理论收敛保证？
• RQ4 RBP能否在具有挑战性的合成与真实世界推理问题上实现比现有最先进方法更快的收敛速度？
• RQ5 在消息传递算法中，残差大小与收敛至固定点的速度之间存在何种关系？

主要发现

• 在具有挑战性的推理任务中，RBP的收敛成功率显著高于其他最先进方法，甚至在标准信念传播无法收敛的任务中也能成功收敛。
• 与传统异步及同步信念传播相比，RBP将收敛所需运行时间减少了数个数量级。
• 尽管完全异步运行，RBP的收敛速度至少与同步信念传播一样快。
• RBP的收敛速度优于轮询调度，而轮询调度本身已被证明与同步传播效果相当。
• 理论分析确认，在保证同步BP收敛的相同条件下，RBP也能收敛至唯一固定点。
• 实验结果表明，RBP基于残差的调度能有效追踪并减少与固定点的距离，从而实现更快、更可靠的推理。