[论文解读] The Factored Frontier Algorithm for Approximate Inference in DBNs

Kevin P. Murphy, Yair Weiss|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 16被引用 108

一句话总结

事实因子前沿（Factored Frontier, FF）算法是一种针对动态贝叶斯网络（Dynamic Bayesian Networks, DBNs）的新型近似推理方法，该方法在整个推理过程中使用因子化分布，从而在精确更新不可行的模型中实现高效推理。该算法被证明等价于原始DBN上的一轮环状信念传播（loopy belief propagation, LBP）迭代，实证结果表明，通过迭代LBP可显著提高相对于FF和Boyen-Koller算法的精度。

ABSTRACT

The Factored Frontier (FF) algorithm is a simple approximate inferencealgorithm for Dynamic Bayesian Networks (DBNs). It is very similar tothe fully factorized version of the Boyen-Koller (BK) algorithm, butinstead of doing an exact update at every step followed bymarginalisation (projection), it always works with factoreddistributions. Hence it can be applied to models for which the exactupdate step is intractable. We show that FF is equivalent to (oneiteration of) loopy belief propagation (LBP) on the original DBN, andthat BK is equivalent (to one iteration of) LBP on a DBN where wecluster some of the nodes. We then show empirically that byiterating, LBP can improve on the accuracy of both FF and BK. Wecompare these algorithms on two real-world DBNs: the first is a modelof a water treatment plant, and the second is a coupled HMM, used tomodel freeway traffic.

研究动机与目标

• 解决复杂动态贝叶斯网络（DBNs）中精确推理的计算不可行性问题。
• 开发一种可扩展的近似推理算法，同时在计算过程中保持因子化结构。
• 建立因子前沿算法、Boyen-Koller算法与环状信念传播（LBP）之间的理论与实证联系。
• 评估FF及其相关方法在真实世界DBN应用中的性能表现。
• 探索通过环状信念传播实现迭代推理相较于单次遍历方法的优势。

提出的方法

• 该算法通过维护并更新因子化概率分布而非完整联合分布来执行近似推理。
• 通过直接操作因子化表示，避免精确更新步骤，使其适用于精确推理不可行的模型。
• 该方法在理论上被证明等价于在原始DBN结构上的一轮环状信念传播（LBP）迭代。
• 同时证明Boyen-Koller算法等价于在DBN的聚类版本上的一轮LBP迭代。
• 在实际应用中，该算法被迭代使用，利用LBP的收敛特性以提升精度。
• 在两个真实世界的DBN上进行了实证评估：一个水处理厂模型和一个用于高速公路交通的耦合HMM。

实验结果

研究问题

• RQ1 能否设计一种因子化推理算法，在避免计算不可行的精确更新的同时，保持模型结构？
• RQ2 与现有近似推理方法（如Boyen-Koller）相比，因子前沿算法在精度和效率方面表现如何？
• RQ3 因子前沿算法与环状信念传播之间存在何种理论关系？
• RQ4 通过迭代应用信念传播是否能显著提升推理精度，超越单次遍历方法（如FF和BK）？
• RQ5 这些算法在具有复杂依赖关系的真实世界DBN应用中表现如何？

主要发现

• 因子前沿算法为在精确更新计算不可行的DBNs中提供了实用的近似推理解决方案。
• 该算法在理论上等价于在原始DBN结构上的一轮环状信念传播（LBP）迭代。
• Boyen-Koller算法等价于在DBN的聚类版本上的一轮LBP迭代，解释了其性能差异。
• 实证结果表明，与因子前沿算法和Boyen-Koller算法相比，迭代LBP显著提升了精度。
• 在水处理厂模型和用于高速公路交通的耦合HMM上，迭代LBP在推理质量上优于单次遍历方法。
• 结果表明，迭代消息传递技术可在无需精确计算的前提下，有效优化DBNs中的近似推理。