[论文解读] Pomegranate: fast and flexible probabilistic modeling in python

Jacob Schreiber|arXiv (Cornell University)|Oct 31, 2017

Machine Learning and Data Classification被引用 52

一句话总结

Pomegranate 是一个开源的 Python 包，用于概率建模，统一了广泛的模型（混合模型、HMM、贝叶斯网络），设计将训练与模型定义分离，使其能够进行 out-of-core、minibatch、半监督学习，并通过基于 Cython 的后端实现并行计算。

ABSTRACT

We present pomegranate, an open source machine learning package for probabilistic modeling in Python. Probabilistic modeling encompasses a wide range of methods that explicitly describe uncertainty using probability distributions. Three widely used probabilistic models implemented in pomegranate are general mixture models, hidden Markov models, and Bayesian networks. A primary focus of pomegranate is to abstract away the complexities of training models from their definition. This allows users to focus on specifying the correct model for their application instead of being limited by their understanding of the underlying algorithms. An aspect of this focus involves the collection of additive sufficient statistics from data sets as a strategy for training models. This approach trivially enables many useful learning strategies, such as out-of-core learning, minibatch learning, and semi-supervised learning, without requiring the user to consider how to partition data or modify the algorithms to handle these tasks themselves. pomegranate is written in Cython to speed up calculations and releases the global interpreter lock to allow for built-in multithreaded parallelism, making it competitive with---or outperform---other implementations of similar algorithms. This paper presents an overview of the design choices in pomegranate, and how they have enabled complex features to be supported by simple code.

研究动机与目标

• 在 Python 中提供一个灵活、模块化的概率建模包，支持常见模型（混合、HMM、贝叶斯网络）。
• 将训练从模型规范中抽象出来，简化使用并实现诸如 out-of-core、minibatch 和半监督学习等特性。
• 利用 Cython 提高速度并释放 GIL 实现多线程和 GPU 加速计算。
• 确保与 scikit-learn 风格的 API 兼容，便于采用和与现有工作流集成。

提出的方法

• 实现一个基本分布和核心概率模型（混合、HMM、贝叶斯网络）的库，具备统一的 API。
• 使用可加的充分统计量将数据摘要与参数更新分离，实现 out-of-core 和并行训练。
• 提供 summarize 和 from_summaries 方法以在批次之间累积统计并支持 minibatch 和半监督学习。
• 利用 Cython 提高计算速度并释放 GIL 以实现多线程；对线性代数使用 BLAS，并可选 GPU 加速。
• 设计 API 以 mirror scikit-learn（fit、from_samples、predict、probability）以便易用和快速试验。

实验结果

研究问题

• RQ1 单一的 Python 库是否能够高效地支持多种概率建模范式（混合、HMM、贝叶斯网络）并提供统一的 API？
• RQ2 将充分统计量与参数更新分离是否能够在大规模数据集上实现可扩展的训练（out-of-core、minibatch）和并行计算？
• RQ3 在几个模型上，与现有的 Python 概率建模工具（例如 hmmlearn、PyMC3、scikit-learn）相比，性能和易用性如何？
• RQ4 是否可以通过共享后端在多变量分布上利用 GPU 加速？

主要发现

• 通过可加的充分统计量，自然支持 out-of-core 和 minibatch 学习，使在内存以外的数据集也能训练。
• 通过 EM-MLE 混合方法，可以对 HMM、Bayes 和 Naive Bayes 模型进行半监督学习，在有标记和未标记数据时提升学习效果。
• 通过 Cython 实现的并行化和 GIL 释放带来显著提速：在一个合成的 3M 样本数据集上，Gaussian Naive Bayes 的训练从 ~53s（单线程）降至 ~17s（8 线程），而在一个 100 序列、1000 步的数据集上，HMM 的训练从 ~25s（hmmlearn）降至 ~4s（4 线程）或 ~2s（16 线程）。
• 在可用时，GPU 加速提供速度提升（例如 2D Gaussian MMs），并给出与 CPU 运行的时序差异。
• 与 scikit-learn 和其他库相比，pomegranate 在半监督实验（例如 10D、100k 样本、重叠高斯、EM 基于 Naive Bayes 与非收敛的标签传播模型）中表现出更好的收敛性和速度。