[论文解读] Strudel: Learning Structured-Decomposable Probabilistic Circuits

Meihua Dang, Antonio Vergari+1 more|arXiv (Cornell University)|Jul 18, 2020

Bayesian Modeling and Causal Inference参考文献 33被引用 6

一句话总结

Strudel 通过利用混合组件之间的确定性和共享计算图，提出了一种快速、准确且可扩展的结构可分解概率电路（PC）学习算法。与 LearnPsdd 相比，Strudel 在单个 PC 和集成学习中均表现出更优性能，实现了更高的似然度，同时训练时间显著缩短，并在混合似然度计算方面实现了数量级的加速。

ABSTRACT

Probabilistic circuits (PCs) represent a probability distribution as a computational graph. Enforcing structural properties on these graphs guarantees that several inference scenarios become tractable. Among these properties, structured decomposability is a particularly appealing one: it enables the efficient and exact computations of the probability of complex logical formulas, and can be used to reason about the expected output of certain predictive models under missing data. This paper proposes Strudel, a simple, fast and accurate learning algorithm for structured-decomposable PCs. Compared to prior work for learning structured-decomposable PCs, Strudel delivers more accurate single PC models in fewer iterations, and dramatically scales learning when building ensembles of PCs. It achieves this scalability by exploiting another structural property of PCs, called determinism, and by sharing the same computational graph across mixture components. We show these advantages on standard density estimation benchmarks and challenging inference scenarios.

研究动机与目标

• 为解决结构可分解概率电路（PC）缺乏高效且准确的学习算法的问题，此类算法可支持复杂查询的可 tractable 推理。
• 克服现有方法（如 LearnPsdd）在可扩展性和效率方面的局限性，这些方法依赖于代价高昂的局部搜索，并将 vtree 学习与电路学习分开进行。
• 通过利用确定性和共享计算结构，实现单个 PC 和大规模 PC 集合的快速且准确的学习。
• 证明共享结构的 PC 混合模型可在大幅减少训练时间的前提下实现高准确率。

提出的方法

• Strudel 采用贪心电路增长策略，而非对候选结构评估惩罚似然分数，从而显著降低搜索成本。
• 它使用具有结构保证的最佳可 tractable 概率模型初始化 PC 结构，避免了单独进行 vtree 学习的需要。
• 该方法同时强制实施结构可分解性和确定性，确保可 tractable 推理的同时保持模型表达能力。
• 对于混合模型，Strudel 在各组件之间共享相同的计算图，从而通过 EM 或带装袋的 EM（BEM）实现高效的参数学习。
• 它采用电路流方法计算混合似然度，相比经典评估方法，速度最高可提升 4,591 倍。
• 该算法在混合模型的所有组件中复用相同的 vtree 结构，确保结构一致性与计算效率。

实验结果

研究问题

• RQ1 能否设计一种更简单、更快的学习算法来处理结构可分解概率电路，而无需牺牲准确性？
• RQ2 确定性与共享计算图的集成在 PC 集合学习中如何提升可扩展性？
• RQ3 在标准基准测试中，Strudel 在似然度、训练时间与推理效率方面相较于 LearnPsdd 能有多大超越？
• RQ4 使用 Strudel 学习的共享结构 PC 混合模型能否在保持低训练开销的同时实现高准确率？
• RQ5 Strudel 学习的 PC 在回答高级概率查询（如缺失数据下的期望预测）方面效果如何？

主要发现

• 在 20 个标准密度估计基准中的 16 个上，Strudel 的似然度高于 LearnPsdd，且收敛速度显著更快。
• Strudel 的迭代速度至少比 LearnPsdd 快一个数量级，且在更少的迭代次数内达到相当或更优的性能。
• 在计算缺失数据下的期望预测这一具有挑战性的任务中，Strudel 及其集成变体（Strudel-BEM）优于中位数插补法，并在所有缺失数据率下均降低了 RMSE。
• Strudel-EM 在 20 个数据集中的 15 个上优于 LearnPsdd-EM，且 Strudel-BEM 在 11 个数据集上优于 LearnPsdd-BEM，尽管 Strudel 受限于共享结构。
• 用于混合似然度计算的电路流方法相比经典评估方法最快可提升 4,591 倍，从而实现了大规模 PC 集合的高效训练。
• 通过在组件间共享相同的计算图，Strudel 实现了 PC 混合模型的可扩展学习，与独立结构学习相比，训练时间大幅减少。