[论文解读] Probabilistic Generating Circuits

Honghua Zhang, Brendan Juba+1 more|arXiv (Cornell University)|Feb 19, 2021

Bayesian Modeling and Causal Inference参考文献 43被引用 4

一句话总结

本文提出了概率生成电路（Probabilistic Generating Circuits, PGCs），一种新颖的可 tractable 概率模型，通过编码为有向无环图的生成多项式表示概率分布。PGCs 实现了高效的边缘推断，其表达能力严格强于和积网络（sum-product networks）与行列式点过程（determinantal point processes），在多个基准测试中实现了最先进的密度估计性能，同时与强 Rayleigh 分布建立了联系。

ABSTRACT

Generating functions, which are widely used in combinatorics and probability theory, encode function values into the coefficients of a polynomial. In this paper, we explore their use as a tractable probabilistic model, and propose probabilistic generating circuits (PGCs) for their efficient representation. PGCs are strictly more expressive efficient than many existing tractable probabilistic models, including determinantal point processes (DPPs), probabilistic circuits (PCs) such as sum-product networks, and tractable graphical models. We contend that PGCs are not just a theoretical framework that unifies vastly different existing models, but also show great potential in modeling realistic data. We exhibit a simple class of PGCs that are not trivially subsumed by simple combinations of PCs and DPPs, and obtain competitive performance on a suite of density estimation benchmarks. We also highlight PGCs' connection to the theory of strongly Rayleigh distributions.

研究动机与目标

• 为解决在保持可 tractable 推断的同时扩展概率模型规模的挑战。
• 探索是否存在一类可 tractable 概率模型，其表达能力严格强于当前模型（如和积网络与 DPPs）。
• 弥合概率论中生成多项式与实际概率机器学习之间的鸿沟。
• 证明 PGCs 可以表示无法通过 PC 和 DPP 组合表达的复杂分布。

提出的方法

• 使用概率生成多项式表示概率分布，其中系数编码了赋值概率。
• 将生成多项式紧凑化为有向无环图（PGC），以支持高效计算。
• 开发一种通过多项式求值与系数求和实现边缘概率计算的高效算法。
• 利用生成多项式的代数结构，支持超越现有模型的可 tractable 推断与表达能力。
• 建立 PGCs 与强 Rayleigh 分布之间的联系，包括生成树分布与森林分布。
• 采用基于核的表示方法（如 Lβ 和 Kβ），将 PGCs 与 DPPs 联系起来，并展示其表达能力。

实验结果

研究问题

• RQ1 是否存在一类可 tractable 概率模型，其表达能力严格强于当前模型（如和积网络与 DPPs）？
• RQ2 生成多项式能否作为机器学习中可 tractable 概率推断的实际表示方法？
• RQ3 是否存在自然分布类（如生成树分布），其可被 PGCs 高效表示，但无法被 PC 或 DPP 表示？
• RQ4 PGCs 与强 Rayleigh 分布之间存在何种关系？
• RQ5 PGCs 是否能在标准密度估计基准测试中实现具有竞争力的性能？

主要发现

• PGCs 在表达能力上严格强于可分解概率电路（decomposable probabilistic circuits）与行列式点过程（determinantal point processes），即使在无法被其组合涵盖的简单类别中亦然。
• 最简单的 PGCs 在所测试的一半密度估计基准中优于其他可 tractable 概率模型。
• PGCs 可通过基于核的公式紧凑表示行列式点过程，包括边际核 Kβ 与赋值核 Lβ。
• PGCs 可利用加权拉普拉斯矩阵与矩阵-树定理表示生成树分布，展示了其在强 Rayleigh 分布中的实用性。
• PGCs 通过其生成多项式结构与强 Rayleigh 分布理论建立了联系，包括伊辛模型（Ising model）与指数化强 Rayleigh 分布族。
• 本文证明 PGCs 支持高效的边缘推断，并为超越当前模型的新一类可 tractable 推断打开了大门。