[论文解读] Sum-Product-Quotient Networks

Or Sharir, Amnon Shashua|arXiv (Cornell University)|Oct 12, 2017

Formal Methods in Verification参考文献 13被引用 4

一句话总结

本文提出了求和-乘积-商网络（SPQNs），作为求和-乘积网络（SPNs）的扩展，通过引入商节点直接通过除法计算条件概率，从而放宽了SPNs严格的可分解性与完备性约束。主要贡献在于证明SPQNs在表达效率上相对于SPNs实现指数级提升，使得原本需要指数规模SPNs才能表示的分布，可被SPQNs以紧凑形式表示。

ABSTRACT

We present a novel tractable generative model that extends Sum-Product Networks (SPNs) and significantly boosts their power. We call it Sum-Product-Quotient Networks (SPQNs), whose core concept is to incorporate conditional distributions into the model by direct computation using quotient nodes, e.g. $P(A|B) = \frac{P(A,B)}{P(B)}$. We provide sufficient conditions for the tractability of SPQNs that generalize and relax the decomposable and complete tractability conditions of SPNs. These relaxed conditions give rise to an exponential boost to the expressive efficiency of our model, i.e. we prove that there are distributions which SPQNs can compute efficiently but require SPNs to be of exponential size. Thus, we narrow the gap in expressivity between tractable graphical models and other Neural Network-based generative models.

研究动机与目标

• 为解决求和-乘积网络（SPNs）表达能力有限的问题，这些网络由于严格的结构约束，无法高效表示某些可 tractable 分布。
• 开发一种支持直接计算条件概率（如 P(A|B) = P(A,B)/P(B)）的可 tractable 生成模型，通过商节点实现。
• 在保持可 tractable 推断的同时，放宽SPNs的可分解性与完备性条件，从而提升表达效率。
• 证明SPQNs能够以指数级更高效的方式表示某些分布，缩小与基于神经网络的生成模型之间的差距。
• 为未来扩展（包括生成分类、可 tractable 边缘化，以及卷积SPQNs）奠定理论基础。

提出的方法

• 引入商节点作为SPNs中的一种新型内部节点，每个商节点计算其两个父节点输出的比值，从而实现条件概率的直接计算。
• 定义一种新的结构条件——条件可分解性，作为SPNs中可分解性的推广，允许乘积节点的子节点在特定约束下共享变量范围。
• 通过推广SPNs的可分解且完备（D&C）条件，建立SPQNs中可 tractable 推断的充分条件，确保归一化与边缘化仍可高效计算。
• 利用算术电路（ACs）框架形式化SPQNs，证明在新结构约束下，通过商节点实现的有理函数仍能保持可 tractable 性。
• 证明SPQNs可表示任何SPNs可表示的分布，同时还能高效建模那些需要指数规模SPNs才能表示的分布。
• 提出理论扩展，包括生成分类、一致边缘分布的联合训练，以及受ConvNets启发的卷积SPQNs。

实验结果

研究问题

• RQ1 商节点能否被整合进SPNs中，实现在保持可 tractable 推断的同时直接计算条件概率？
• RQ2 通过商节点放宽SPNs的可分解性与完备性约束，是否能显著提升表达效率？
• RQ3 是否存在某些分布能被SPQNs高效表示，但需要指数规模的SPNs才能表示？
• RQ4 SPQNs在新结构约束下是否仍能保持可 tractable 推断与归一化？
• RQ5 在可 tractable 概率模型中使用有理函数（通过商节点）的理论与实际影响是什么？

主要发现

• SPQNs通过引入条件可分解性，推广了SPNs的可分解且完备（D&C）条件，使得乘积节点的子节点在受控条件下可共享变量范围。
• 本文证明SPQNs在新结构约束下仍能保持可 tractable 推断，确保归一化与边缘化可在多项式时间内计算。
• SPQNs在表达效率上实现相对于SPNs的指数级提升：存在某些分布，其SPNs表示需指数规模，但可用多项式规模的SPQNs表示。
• 该模型表明，商节点可通过 P(A|B) = P(A,B)/P(B) 实现条件概率的直接计算，显著增强建模灵活性。
• SPQNs被证明在理论上能够表示SPNs无法高效表示的分布，例如完全图上n个顶点的生成树的均匀分布。
• 尽管由于条件可分解性引入的偏序关系导致一般性可 tractable 边缘化能力丧失，SPQNs仍保持可 tractable 推断，并通过联合训练为实现一致边缘分布提供了路径。