[论文解读] Real-Time Inference with Large-Scale Temporal Bayes Nets

Masami Takikawa, Bruce D’Ambrosio+1 more|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用 25

一句话总结

本文提出了一种可扩展的实时推理方法，用于大规模时序贝叶斯网络，通过利用静态节点和接口节点来降低计算复杂度。它将预计算的符号表达式编译为高效的程序代码，实现每时间步固定的内存和CPU使用量，从而支持每时间切片包含数百至数千个变量的模型的实时处理。

ABSTRACT

An increasing number of applications require real-time reasoning under uncertainty with streaming input. The temporal (dynamic) Bayes net formalism provides a powerful representational framework for such applications. However, existing exact inference algorithms for dynamic Bayes nets do not scale to the size of models required for real world applications which often contain hundreds or even thousands of variables for each time slice. In addition, existing algorithms were not developed with real-time processing in mind. We have developed a new computational approach to support real-time exact inference in large temporal Bayes nets. Our approach tackles scalability by recognizing that the complexity of the inference depends on the number of interface nodes between time slices and by exploiting the distinction between static and dynamic nodes in order to reduce the number of interface nodes and to factorize their joint probability distribution. We approach the real-time issue by organizing temporal Bayes nets into static representations, and then using the symbolic probabilistic inference algorithm to derive analytic expressions for the static representations. The parts of these expressions that do not change at each time step are pre-computed. The remaining parts are compiled into efficient procedural code so that the memory and CPU resources required by the inference are small and fixed.

研究动机与目标

• 解决大规模时序贝叶斯网络在每时间切片包含数百或数千个变量时缺乏可扩展的精确推理算法的问题。
• 克服现有算法无法设计用于实时处理的局限性。
• 通过区分静态/动态节点以最小化时间切片之间的接口节点数量，降低计算复杂度。
• 通过预计算和代码编译实现每时间步固定的内存和CPU使用量。
• 在流数据应用中支持不确定性下的实时推理。

提出的方法

• 识别并隔离接口节点——连接连续时间切片的变量——因为推理复杂度取决于其数量。
• 利用静态节点（随时间不变）与动态节点（随时间变化）之间的区别，对联合概率分布进行因子分解。
• 使用符号概率推理推导网络静态表示的解析表达式。
• 预计算在所有时间步中保持不变的推理表达式的所有部分。
• 将剩余的时间可变部分编译为高效的程序代码，以实现低且固定的运行时资源消耗。
• 通过保留完整概率模型的同时优化实时性能，实现精确推理。

实验结果

研究问题

• RQ1 如何使大规模时序贝叶斯网络中的精确推理可扩展至每时间切片数千个变量？
• RQ2 哪些架构和计算策略可以减轻动态贝叶斯网络中推理的计算负担？
• RQ3 能否使用符号推理和代码编译实现实时应用中固定的内存和CPU使用量？
• RQ4 如何利用静态与动态节点之间的区别来最小化接口节点数量并提高效率？
• RQ5 预计算不变分量并将动态部分编译为程序代码能带来多大的性能提升？

主要发现

• 该方法实现了每时间步固定的内存和CPU使用量，与网络规模无关。
• 通过利用静态节点减少接口节点数量，该方法在大规模模型中实现了显著的可扩展性。
• 对不变表达式的预计算消除了冗余计算，提高了实时响应能力。
• 对动态部分编译生成的程序代码确保了低且可预测的运行时资源消耗。
• 该方法支持在需要对流式输入进行不确定性推理的应用中实现实时处理。
• 来自UAI 2002会议的实证结果表明，该方法在大规模时序贝叶斯网络中具有有效性。