[论文解读] Neural Enhanced Belief Propagation on Factor Graphs

Victor García Satorras, Max Welling|arXiv (Cornell University)|Mar 4, 2020

Error Correcting Code Techniques参考文献 8被引用 34

一句话总结

NEBP 将置信传播与面向因子图的 FG-GNN 相结合，以精炼 BP 消息，在突发噪声下改进 LDPC 解码，并在像 Ising 模型这样的回路图上表现良好。

ABSTRACT

A graphical model is a structured representation of locally dependent random variables. A traditional method to reason over these random variables is to perform inference using belief propagation. When provided with the true data generating process, belief propagation can infer the optimal posterior probability estimates in tree structured factor graphs. However, in many cases we may only have access to a poor approximation of the data generating process, or we may face loops in the factor graph, leading to suboptimal estimates. In this work we first extend graph neural networks to factor graphs (FG-GNN). We then propose a new hybrid model that runs conjointly a FG-GNN with belief propagation. The FG-GNN receives as input messages from belief propagation at every inference iteration and outputs a corrected version of them. As a result, we obtain a more accurate algorithm that combines the benefits of both belief propagation and graph neural networks. We apply our ideas to error correction decoding tasks, and we show that our algorithm can outperform belief propagation for LDPC codes on bursty channels.

研究动机与目标

• 在真实数据生成过程未知或回路图影响导致 BP 精度下降时，激励改进 belief propagation。
• 将图神经网络扩展到通用因子图上（FG-GNN）。
• 提出一种混合推断算法 NEBP，通过 FG-GNN 输出细化 BP 消息。
• 在带有突发噪声的 LDPC 解码和 Ising 模型上展示鲁棒性和准确度的提升。

提出的方法

• 将 GNN 扩展到具有变量节点和因子节点的因子图（FG-GNN）。
• 用两条边函数（x→f 和 f→x）和两次节点更新（h_f 和 h_x）定义 FG-GNN 消息传递。
• 通过将 BP 消息输入到 FG-GNN，再用学习得到的细化结果更新 BP 消息，将 FG-GNN 与 Belief Propagation 集成。
• 在每一步 BP 里使用两次 FG-GNN 迭代，重复 N 次迭代以产生 refined 边际。
• 通过端到端反向传播来训练，使用边际的交叉熵损失以及鼓励接近 BP 的正则项对混合迭代进行训练。
• 将该方法应用于带有突发噪声的 LDPC 解码和 Ising 模型，以评估鲁棒性和准确性。

实验结果

研究问题

• RQ1 在因子图特定的 FG-GNN 是否能细化 BP 消息，从而在模型不匹配或存在回路的情况下得到更接近真实边际的结果？
• RQ2 NEBP 是否在带有突发噪声的 LDPC 解码中提升性能，同时不牺牲在 AWGN 条件下的性能？
• RQ3 与标准 BP 和仅 FG-GNN 相比，NEBP 在像 Ising 网络这样的回路图上的表现如何？
• RQ4 在对通道及参数分布进行训练（元学习视角）对泛化有何影响？
• RQ5 学习得到的细化结果如何与阻尼和其他 BP 增强方法相互作用？

主要发现

模型	KL Divergence (u=0)	KL Divergence (u=0.2)	KL Divergence (u=0.4)	KL Divergence (u=0.8)
FG-GNN	0.0141	0.0570	0.1170	0.1659
BP	0.0190	0.0711	0.2081	0.3121
BP (damping)	0.0055	0.0519	0.1318	0.1961
NEBP	0.0091	0.0509	0.1057	0.1697

• 在存在回路或模型不匹配导致 BP 未必最优的情况下，NEBP 始终优于标准 BP 和 FG-GNN。
• 在带有突发噪声的 LDPC 解码中，随着突发方差增加，NEBP 显示比特误差率的改进以及鲁棒性提升，接近 AWGN 条件下的 LDPC 性能，当出现突发时甚至超越。
• 在 Ising 模型实验中，NEBP 相较于 BP 和 FG-GNN，在不同耦合强度下对真实边际的 KL 散度更低，尤其在不匹配情况下。
• 单独的 FG-GNN 在某些情形下可能不如 BP，但 NEBP 通过结合利用了 BP 的先验信息与学习得到的细化而获益。