[论文解读] Sum-product networks: A survey

Iago París, Raquel Sánchez‐Cauce+1 more|arXiv (Cornell University)|Apr 2, 2020

Bayesian Modeling and Causal Inference参考文献 82被引用 5

一句话总结

本综述全面概述了求和-乘积网络（SPNs），这是一种可 tractable 的概率深度学习模型，通过求和节点和乘积节点的分层结构实现高效的精确推理。它提供了严格的数学基础、推理与学习算法，并展示了 SPNs 在计算机视觉和自然语言处理等应用中的有效性，其表现优于传统概率模型，并在可扩展性和可解释性方面与神经网络相当。

ABSTRACT

A sum-product network (SPN) is a probabilistic model, based on a rooted acyclic directed graph, in which terminal nodes represent univariate probability distributions and non-terminal nodes represent convex combinations (weighted sums) and products of probability functions. They are closely related to probabilistic graphical models, in particular to Bayesian networks with multiple context-specific independencies. Their main advantage is the possibility of building tractable models from data, i.e., models that can perform several inference tasks in time proportional to the number of links in the graph. They are somewhat similar to neural networks and can address the same kinds of problems, such as image processing and natural language understanding. This paper offers a survey of SPNs, including their definition, the main algorithms for inference and learning from data, the main applications, a brief review of software libraries, and a comparison with related models

研究动机与目标

• 提供对求和-乘积网络（SPNs）的统一、数学上严谨的处理，超越原始的网络多项式公式化表述。
• 澄清并形式化 SPNs 中的核心概念，如可分解性、一致性与选择性，纠正早期研究中的模糊之处。
• 通过一致的符号系统，对分散文献中的推理、参数学习与结构学习算法进行系统化与统一化。
• 回顾 SPNs 在计算机视觉、自然语言处理及其他领域的应用，展示其实际效用。
• 将 SPNs 与相关模型（如贝叶斯网络、算术电路及深度神经网络）进行比较。

提出的方法

• SPNs 被定义为有向无环图，其中叶节点表示单变量分布，非叶节点表示概率函数的加权和（混合）与乘积（因子分解）。
• 通过强制实施可分解性，确保在边数线性时间内高效计算边际与条件概率。
• 通过前向传播执行推理，利用求和与乘积运算，实现对边际、MAP 和后验的线性时间精确计算。
• 参数学习采用基于梯度的优化方法，通过 SPN 结构进行反向传播，利用链式法则与网络输出的偏导数。
• 结构学习采用贪心或搜索算法，从数据中构建 SPN 架构，由评分函数或变量聚类指导。
• 理论分析表明，SPNs 可以表示任意可 tractable 的分布，其结构支持在部分观测条件下仍实现高效计算。

实验结果

研究问题

• RQ1 SPNs 如何被正式定义，并与早期的网络多项式表示区分开来？
• RQ2 确保 SPNs 中可 tractable 推理的必要与充分条件（如可分解性、选择性）是什么？
• RQ3 如何推导并数学证明高效且正确的推理与学习算法？
• RQ4 在特定任务中，SPNs 如何优于传统概率图模型与深度神经网络？
• RQ5 哪些关键的架构与算法组件使 SPNs 能够扩展至视觉与语言领域的实际问题？

主要发现

• SPNs 可在与网络边数成比例的时间内实现精确推理，使其适用于大规模模型。
• 将可分解性作为核心属性，使得即使在部分观测条件下，也能实现高效且可扩展的学习与推理。
• 选择性在正确参数学习与某些推理任务中至关重要，尤其在非平凡配置下。
• 当存在上下文特定独立性时，SPNs 以更少的参数表示复杂分布，优于标准贝叶斯网络。
• 实证结果表明，SPNs 在图像分类与自然语言处理任务中表现具有竞争力，与深度神经网络相当，同时保持精确推理能力。
• 理论分析证实，任何有限状态的 SPN 均可在多项式时间与空间约束下，转换为具有 ADD 编码条件概率的贝叶斯网络，反之亦然。