[论文解读] Unifying Message Passing Algorithms Under the Framework of Constrained Bethe Free Energy Minimization

Dan Zhang, Xiaohang Song+3 more|arXiv (Cornell University)|Mar 31, 2017

Error Correcting Code Techniques参考文献 71被引用 16

一句话总结

本文在受限Bethe自由能最小化框架下统一了变分消息传递（VMP）、信念传播（BP）和期望传播（EP），表明不同的消息传递算法源于不同的约束集。通过重新表述约束条件，推导出一种用于稀疏信号恢复的低复杂度EP变体，性能更优且可扩展，从而实现了联合推理与模型学习的混合消息传递算法的系统性推导。

ABSTRACT

Variational message passing (VMP), belief propagation (BP) and expectation propagation (EP) have found their wide applications in complex statistical signal processing problems. In addition to viewing them as a class of algorithms operating on graphical models, this paper unifies them under an optimization framework, namely, Bethe free energy minimization with differently and appropriately imposed constraints. This new perspective in terms of constraint manipulation can offer additional insights on the connection between different message passing algorithms and is valid for a generic statistical model. It also founds a theoretical framework to systematically derive message passing variants. Taking the sparse signal recovery (SSR) problem as an example, a low-complexity EP variant can be obtained by simple constraint reformulation, delivering better estimation performance with lower complexity than the standard EP algorithm. Furthermore, we can resort to the framework for the systematic derivation of hybrid message passing for complex inference tasks. Notably, a hybrid message passing algorithm is exemplarily derived for joint SSR and statistical model learning with near-optimal inference performance and scalable complexity.

研究动机与目标

• 在基于受限Bethe自由能最小化的统一优化框架下，统一VMP、BP和EP。
• 通过约束操作提供系统推导消息传递变体的理论基础。
• 为稀疏信号恢复（SSR）开发一种低复杂度EP变体，以提升估计精度。
• 实现复杂推理任务中联合信号恢复与模型学习的混合消息传递算法的系统性推导。
• 在实际无线通信系统中展示接近最优的推理性能与可扩展的复杂度。

提出的方法

• 将统计推断表述为带有定制约束的Bethe自由能最小化，以统一VMP、BP和EP。
• 使用拉格朗日乘子推导不同约束类型下的消息更新固定点方程。
• 引入混合约束，结合矩匹配（EP）与边缘化（VMP/BP），适用于离散与连续变量的混合情形。
• 通过指数族分布的归一化与拉格朗日优化推导消息更新规则。
• 通过约束重表述获得一种低复杂度EP变体，在稀疏信号恢复中性能优于标准EP。
• 将该框架应用于推导用于联合稀疏信号恢复与统计模型学习的混合消息传递算法。

实验结果

研究问题

• RQ1 VMP、BP和EP如何在统一的优化框架下实现统一？
• RQ2 不同约束集在决定消息传递算法行为方面起什么作用？
• RQ3 约束重表述能否在稀疏信号恢复中提升EP的性能并降低复杂度？
• RQ4 如何系统性地推导用于联合推理与模型学习任务的混合消息传递？
• RQ5 与标准消息传递方法相比，使用受限Bethe自由能最小化在理论与实践上具有哪些优势？

主要发现

• 所提出的框架将VMP、BP和EP统一为受限Bethe自由能最小化的特例，具体取决于约束的选择。
• 通过约束重表述推导出一种低复杂度EP变体，在稀疏信号恢复中实现了优于标准EP的估计性能。
• 该框架实现了复杂推理任务中混合消息传递算法的系统性推导。
• 推导出一种用于联合稀疏信号恢复与统计模型学习的混合消息传递算法，实现了接近最优的推理性能与可扩展的复杂度。
• 理论分析确认，所推导的算法对应于受限Bethe自由能的局部最优解。
• 该框架通过调整约束类型与结构，为平衡精度与复杂度提供了系统性方法。