[论文解读] Stochastic Belief Propagation: Low-Complexity Message-Passing with Guarantees

Nima Noorshams, Martin J. Wainwright|arXiv (Cornell University)|Nov 4, 2011

Error Correcting Code Techniques被引用 1

一句话总结

本文提出随机信念传播（SBP），一种计算复杂度较低的信念传播变体，通过在每次迭代中随机选择要更新的消息来降低计算成本。该方法在树状图结构上可保证几乎必然收敛至BP固定点，并提供非渐近误差界，且在满足收缩条件的一般图上，均方误差随迭代次数t以1/t的速率衰减。

ABSTRACT

The sum-product or belief propagation (BP) algorithm is widely used to compute exact or approximate marginals in graphical models. However, for graphical models with continuous or high-dimensional discrete states and/or high degree factors, it can be computationally expensive to update messages. We propose the stochastic belief propagation algorithm (SBP) as a low-complexity alternative. It is a randomized variant of BP that passes only stochastically chosen information at each round, thereby reducing the complexity per iteration by an order of magnitude. We prove that it enjoys a number of rigorous convergence guarantees: for any tree-structured graph, the SBP updates converge almost surely to the BP fixed point, and we provide non-asymptotic bounds on the mean absolute error. For general graphs that satisfy a standard contraction condition, we establish almost sure convergence to the unique BP fixed point, as well as non-asymptotic guarantees on the mean squared error, showing that it decays as 1/t with the number of iterations t. We also provide high probability bounds on the actual error.

研究动机与目标

• 解决在连续或高维状态以及高阶因子的图模型中信念传播计算成本过高的问题。
• 设计一种消息传递算法，将每轮迭代的复杂度降低一个数量级，同时不损失收敛性保证。
• 在标准收缩条件下，为SBP在树状图和一般图上建立严格的非渐近误差界。

提出的方法

• SBP引入一种随机化消息更新策略，即在每次迭代中仅计算并传递经随机选择的消息，从而降低计算负载。
• 该算法保持与标准信念传播相同的固定点结构，但通过随机采样选择需更新的消息。
• 对于树状图结构，SBP更新被证明可几乎必然收敛至精确的BP固定点。
• 对于满足收缩条件的一般图，SBP可几乎必然收敛至唯一的BP固定点。
• 为树状图结构上的SBP推导出均绝对误差的非渐近界。
• 提供实际误差的高概率界，表明均方误差随迭代次数t以1/t的速率衰减。

实验结果

研究问题

• RQ1 能否设计一种随机化消息传递算法，在降低计算复杂度的同时，实现与标准信念传播相同的固定点收敛性？
• RQ2 随机信念传播在树状图结构图模型上的非渐近误差界是什么？
• RQ3 在何种条件下，随机信念传播可在一般图中几乎必然收敛至唯一的BP固定点？
• RQ4 在一般图中，SBP的均方误差如何随迭代次数衰减？
• RQ5 在标准收缩假设下，能否为SBP建立实际误差的高概率界？

主要发现

• 在树状图结构上，SBP更新几乎必然收敛至精确的BP固定点，确保在与标准BP相同条件下保持正确性。
• 为树状图上的SBP建立了均绝对误差的非渐近界，提供了有限样本下的误差控制。
• 对于满足标准收缩条件的一般图，SBP几乎必然收敛至唯一的BP固定点。
• SBP的均方误差随迭代次数t以1/t的速率衰减，表明其具有有利的收敛速率。
• 推导出实际误差的高概率界，表明随着迭代次数增加，误差在高置信度下被紧密控制。
• 与标准BP相比，SBP的每轮迭代复杂度降低了一个数量级，使其适用于高维或连续状态模型。