[论文解读] On the Relationship between Sum-Product Networks and Bayesian Networks

Han Zhao, Mazen Melibari+1 more|arXiv (Cornell University)|Jan 6, 2015

Bayesian Modeling and Causal Inference参考文献 22被引用 47

一句话总结

本文通过使用代数决策图（ADDs）表示条件概率分布，建立了求和-乘积网络（SPNs）与贝叶斯网络（BNs）之间的形式化线性时间等价关系。证明了每个SPN均可在不引起大小爆炸的情况下转换为BN，且在BN上执行变量消去（VE）可恢复原始SPN，揭示SPNs作为缓存的推理历史。

ABSTRACT

In this paper, we establish some theoretical connections between Sum-Product Networks (SPNs) and Bayesian Networks (BNs). We prove that every SPN can be converted into a BN in linear time and space in terms of the network size. The key insight is to use Algebraic Decision Diagrams (ADDs) to compactly represent the local conditional probability distributions at each node in the resulting BN by exploiting context-specific independence (CSI). The generated BN has a simple directed bipartite graphical structure. We show that by applying the Variable Elimination algorithm (VE) to the generated BN with ADD representations, we can recover the original SPN where the SPN can be viewed as a history record or caching of the VE inference process. To help state the proof clearly, we introduce the notion of {\em normal} SPN and present a theoretical analysis of the consistency and decomposability properties. We conclude the paper with some discussion of the implications of the proof and establish a connection between the depth of an SPN and a lower bound of the tree-width of its corresponding BN.

研究动机与目标

• 澄清求和-乘积网络（SPNs）与贝叶斯网络（BNs）之间的理论关系，特别是表达能力和推理复杂度方面。
• 解决将SPNs转换为BNs是否会引起大小指数级爆炸的开放问题，尤其是在利用上下文特定独立性（CSI）的情况下。
• 提供一种构造性、线性时间的算法，通过代数决策图（ADDs）紧凑表示局部CPD，将SPNs转换为BNs。
• 证明在所得BN上应用变量消去（VE）可恢复原始SPN，从而确立SPNs作为VE计算历史或缓存的性质。
• 引入规范SPNs的概念，作为简化理论分析和转换过程的桥梁。

提出的方法

• 引入规范SPN的概念以简化证明结构，确保转换过程中保持一致性和可分解性。
• 使用代数决策图（ADDs）表示所得BN中局部条件概率分布（CPDs），实现对上下文特定独立性（CSI）的紧凑编码。
• 从SPN构建一个有向二分BN，其中求和节点和乘积节点成为隐变量，终端节点成为观测变量。
• 在具有ADD表示CPDs的构造BN上应用变量消去（VE）算法，证明VE过程可精确重构原始SPN结构。
• 证明从SPN到BN的转换在时间与空间上均与SPN大小呈线性关系，利用ADDs避免指数级爆炸。
• 分析SPN深度与所得BN树宽之间的结构关系，推导出树宽的下界为⌊K/2⌋，其中K为SPN高度。

实验结果

研究问题

• RQ1 每个SPN是否都能在不引起大小指数级爆炸的情况下转换为贝叶斯网络（BN）？
• RQ2 使用ADDs表示CPD对从SPN生成的BN的大小和结构有何影响？
• RQ3 SPN中的推理过程与在BN上应用变量消去（VE）算法之间是否存在直接对应关系？
• RQ4 SPN的深度与对应BN的树宽之间存在何种关系？
• RQ5 SPNs是否可被视为BN上VE推理过程的紧凑缓存表示？

主要发现

• 通过使用ADDs表示局部CPDs，每个SPN均可在时间与空间复杂度为线性的前提下转换为贝叶斯网络。
• 所得BN具有简单的有向二分结构，与SPN的深度或复杂度无关。
• 在具有ADD表示CPDs的构造BN上应用变量消去（VE）可在时间与空间复杂度为线性的前提下恢复原始SPN。
• SPN的深度为对应BN树宽提供了一个下界：高度为K的SPN生成的BN其树宽至少为⌊K/2⌋。
• SPNs可被解释为BN上VE推理过程的历史或缓存机制，ADDs使得CPD表示高效且紧凑。
• 使用ADDs表示CPDs可使BN利用上下文特定独立性（CSI），从而防止指数级爆炸，并在高树宽分布下仍能实现可 tractable 推理。