[论文解读] pgmpy: A Python Toolkit for Bayesian Networks

Ankur Ankan, Johannes Textor|arXiv (Cornell University)|Apr 17, 2023

Bayesian Modeling and Causal Inference被引用 16

一句话总结

pgmpy 是一个纯 Python、模块化的工具包，提供结构学习、参数估计、（精确与近似）概率推断、因果推断以及贝叶斯网络及相关模型的仿真，并设计上具可扩展性。

ABSTRACT

Bayesian Networks (BNs) are used in various fields for modeling, prediction, and decision making. pgmpy is a python package that provides a collection of algorithms and tools to work with BNs and related models. It implements algorithms for structure learning, parameter estimation, approximate and exact inference, causal inference, and simulations. These implementations focus on modularity and easy extensibility to allow users to quickly modify/add to existing algorithms, or to implement new algorithms for different use cases. pgmpy is released under the MIT License; the source code is available at: https://github.com/pgmpy/pgmpy, and the documentation at: https://pgmpy.org.

研究动机与目标

• 在各领域中，推动对一个可扩展的 Python 工具包用于贝叶斯网络的需求。
• 提供一个模块化、可读的实现，支持广泛的 BN 任务。
• 提供结构学习、参数学习、推理、因果推断和仿真的算法，用户易于扩展。

提出的方法

• 以纯 Python 实现，以最大化可读性和可扩展性。
• 使用抽象基类来定义跨算法族的通用数据结构和接口。
• 结构学习算法包括 nosep PC（含多种 CI 测试）、Hill-Climb 和 MMHC，以及用于树结构的 Chow-Liu 和 Tree Augmented Naive Bayes。
• 参数学习方法包括最大似然、带 Dirichlet/BDeu/K2 先验的贝叶斯估计，以及用于缺失数据的期望最大化。
• 概率推断支持通过可变消除的精确推断，结合高效的消除顺序启发式和信念传播；以及通过基于仿真的近似推断方法。
• 因果推断特性包括工具变量和调整集方法，支持连续和离散数据，并可选使用外部统计模型。

实验结果

研究问题

• RQ1 一个单一的 Python 工具包应高效支持哪些贝叶斯网络任务（结构学习、参数学习、推断、因果推断、仿真）？
• RQ2 模块化、可扩展的设计模式（基类、可插拔组件）如何促进添加新的 BN 算法？
• RQ3 在将概率推断与因果推断能力结合方面，pgmpy 的范围与其他软件包相比如何？

主要发现

• pgmpy 提供了全面的贝叶斯网络工具集，包括离散变量的结构学习、参数学习、概率推断、因果推断以及仿真（对连续/混合数据的支持部分）。
• 该包通过纯 Python 实现和抽象基类强调模块化和可扩展性，从而实现易于定制和集成的算法。
• 它实现了多种结构学习方法（PC 变体、HC、MMHC、Chow-Liu、TAN）以及若干 CI 测试和评分度量，以及标准的 CPT/CPD 估计方法。
• 推断支持精确（VE）和 BP 方法，并配合高效的消除排序策略以降低计算成本。
• 因果推断特征包括基于 IV 的估计和调整集方法，支持连续和离散数据，以及在需要时使用外部统计模型。
• 导出/导入多种 BN 交换格式的支持提升了与其他工具的互操作性。