[论文解读] On the Expressive Efficiency of Sum Product Networks

James Martens, Venkatesh Medabalimi|arXiv (Cornell University)|Nov 27, 2014

Product Development and Customization被引用 35

一句话总结

本文证明，具有可分解性与完备性（D&C）约束的总结-乘积网络（SPNs）无法高效表示某些可 tractable 概率分布——特别是完全图 $K_m$ 的生成树上的均匀分布，尽管其具备高效的推理能力。关键结果证明了 D&C SPNs 的深度层次结构，表明增加深度可扩展其表达效率，并识别出一个具体分布：其他深度模型可高效捕捉，而 D&C SPNs 即使在任意深度下也无法实现，凸显其在表达效率上的局限性。

ABSTRACT

Sum Product Networks (SPNs) are a recently developed class of deep generative models which compute their associated unnormalized density functions using a special type of arithmetic circuit. When certain sufficient conditions, called the decomposability and completeness conditions (or "D&C" conditions), are imposed on the structure of these circuits, marginal densities and other useful quantities, which are typically intractable for other deep generative models, can be computed by what amounts to a single evaluation of the network (which is a property known as "validity"). However, the effect that the D&C conditions have on the capabilities of D&C SPNs is not well understood. In this work we analyze the D&C conditions, expose the various connections that D&C SPNs have with multilinear arithmetic circuits, and consider the question of how well they can capture various distributions as a function of their size and depth. Among our various contributions is a result which establishes the existence of a relatively simple distribution with fully tractable marginal densities which cannot be efficiently captured by D&C SPNs of any depth, but which can be efficiently captured by various other deep generative models. We also show that with each additional layer of depth permitted, the set of distributions which can be efficiently captured by D&C SPNs grows in size. This kind of "depth hierarchy" property has been widely conjectured to hold for various deep models, but has never been proven for any of them. Some of our other contributions include a new characterization of the D&C conditions as sufficient and necessary ones for a slightly strengthened notion of validity, and various state-machine characterizations of the types of computations that can be performed efficiently by D&C SPNs.

研究动机与目标

• 研究在支持可 tractable 推理的 D&C 约束下，总结-乘积网络（SPNs）的表达效率。
• 确定 D&C SPNs 是否能高效表示所有具有完全可计算边缘分布和划分函数的可 tractable 概率分布。
• 比较 D&C SPNs 与其他深度生成模型的表达能力，尤其在参数效率方面。
• 建立 D&C SPNs 的正式深度层次结构，表明深度增加可扩展其表示能力。

提出的方法

• 作者通过与多重线性算术电路的联系分析 D&C SPNs，并利用状态机表征来建模其计算能力。
• 他们构造了一个分离分布：完全图 $K_m$ 的生成树邻接矩阵上的均匀分布。
• 他们证明了在任意 $K_m$ 边的 2 种着色中，若红色边数 $n/3 \leq r \leq 2n/3$，则约束三角形（双色三角形）的数量至少为 $m^3/60$，建立了强下界。
• 通过基于随机游走的随机生成树采样过程，他们表明仅极小比例的生成树能满足大量约束。
• 他们应用概率界证明：满足 $C \geq m^3/60$ 约束的生成树比例至多为 $ (1 - 1/60)^{m/360} $，该值随 $m$ 指数衰减。
• 该证明利用图中三角形计数的已知结果，并将其应用于约束有效 SPN 结构的数量，最终导出主定理。

实验结果

研究问题

• RQ1 D&C SPNs 是否能高效表示所有具有完全可计算边缘分布和划分函数的可 tractable 概率分布？
• RQ2 是否存在一个分布可被其他深度生成模型高效捕捉，但无法被 D&C SPNs 捕获，即使在任意深度下？
• RQ3 D&C SPNs 的表达能力是否随深度增长，从而建立深度层次结构？
• RQ4 D&C 条件对 SPNs 表示复杂分布能力施加了哪些结构性限制？

主要发现

• 存在一个可 tractable 分布——即完全图 $K_m$ 的生成树邻接矩阵上的均匀分布——其无法被任何 D&C SPN 高效捕捉，无论深度如何。
• 在任意满足 $n/3 \leq r \leq 2n/3$ 红色边数的 $K_m$ 边的 2 种着色中，约束三角形（双色三角形）的数量至少为 $m^3/60$，建立了强下界。
• 满足 $m^3/60$ 个约束的生成树所占比例至多为 $ (1 - 1/60)^{m/360} $，该值随 $m$ 指数衰减，证明仅有可忽略的少数生成树能同时满足所有约束。
• 这意味着 D&C SPNs 无法高效表示该分离分布，因为所需约束数量随 $m$ 超多项式增长，而有效网络结构的数量仍保持指数级稀少。
• 本文建立了 D&C SPNs 的深度层次结构：每增加一层，其可高效表示的分布集合便更大。
• D&C 条件被证明对一种强化的合法性概念而言，既是必要也是充分的，从而为 SPN 设计中其角色提供了新表征。