[论文解读] Sum-Product Networks: A New Deep Architecture

Hoifung Poon, Pedro Domingos|arXiv (Cornell University)|Feb 14, 2012

Bayesian Modeling and Causal Inference参考文献 27被引用 377

一句话总结

本文提出了求和-乘积网络（SPNs），一种由带权边的求和节点和乘积节点组成的深度架构，通过确保网络完整且一致，实现精确且高效的推理。SPNs 广泛推广了多种可 tractable 的图模型，并在图像补全等任务中优于标准深度网络，得益于通过反向传播和基于 EM 的学习实现的高效精确推理，从而获得更快且更准确的结果。

ABSTRACT

The key limiting factor in graphical model inference and learning is the complexity of the partition function. We thus ask the question: what are general conditions under which the partition function is tractable? The answer leads to a new kind of deep architecture, which we call sum-product networks (SPNs). SPNs are directed acyclic graphs with variables as leaves, sums and products as internal nodes, and weighted edges. We show that if an SPN is complete and consistent it represents the partition function and all marginals of some graphical model, and give semantics to its nodes. Essentially all tractable graphical models can be cast as SPNs, but SPNs are also strictly more general. We then propose learning algorithms for SPNs, based on backpropagation and EM. Experiments show that inference and learning with SPNs can be both faster and more accurate than with standard deep networks. For example, SPNs perform image completion better than state-of-the-art deep networks for this task. SPNs also have intriguing potential connections to the architecture of the cortex.

研究动机与目标

• 确定图模型中分区函数变得可 tractable 的一般条件。
• 开发一种新的深度架构，支持在复杂概率模型上进行精确且高效的推理。
• 在支持可扩展学习和推理的同时，推广现有的可 tractable 图模型。
• 提出基于反向传播和 EM 的学习算法用于 SPNs。
• 展示 SPNs 在推理和学习任务中相较于标准深度网络的优越性能。

提出的方法

• SPNs 被定义为有向无环图，变量作为叶节点，求和节点和乘积节点作为内部节点，边带有权重。
• 为确保网络表示有效的概率分布并支持精确推理，要求网络是完整且一致的。
• SPN 中每个节点根据其子节点输出的加权和（求和节点）或乘积（乘积节点）进行计算，权重被解释为概率。
• 由于结构和完整性条件，分区函数和所有边缘分布均可在线性时间内计算，时间复杂度与网络规模成线性关系。
• 通过反向传播和 EM 进行学习，参数更新由基于梯度的优化指导。
• 该架构支持无需采样的精确推理，从而实现快速且准确的概率推理。

实验结果

研究问题

• RQ1 图模型在何种条件下可实现分区函数和边缘分布的可 tractable 计算？
• RQ2 能否设计一种深度架构，在保持表达能力和可扩展性的同时支持精确推理？
• RQ3 如何利用基于梯度和基于 EM 的方法高效训练 SPNs？
• RQ4 SPNs 在图像补全等任务中相较于标准深度网络的性能优势有多大？
• RQ5 SPN 结构与皮层中神经架构之间是否存在任何关联？

主要发现

• 当 SPN 完整且一致时，可精确且线性时间地表示图模型的分区函数和所有边缘分布。
• SPNs 广泛推广了多种可 tractable 图模型，包括具有特定结构的贝叶斯网络和马尔可夫随机场。
• 在图像补全任务中，SPNs 的推理速度更快且更准确，优于标准深度网络。
• 使用反向传播和 EM 可实现 SPN 参数的有效学习，且具有良好的收敛性。
• SPNs 展现出与皮层微环路的引人注目的结构相似性，暗示其具有潜在的生物学合理性。
• 该架构支持无需近似的精确推理，而许多深度生成模型依赖采样进行推理。