[论文解读] Probabilistic Data Analysis with Probabilistic Programming

Feras A. Saad, Vikash K. Mansinghka|arXiv (Cornell University)|Aug 18, 2016

Gaussian Processes and Bayesian Inference参考文献 26被引用 7

一句话总结

本文提出了可组合生成种群模型（CGPMs），这是一种统一的计算抽象，将多种概率数据分析技术——如贝叶斯推断、核方法和机器学习——整合到单一的概率编程框架中。通过在BayesDB中实现模块化、可组合的建模，CGPMs相较于标准库将代码量减少了约10倍，同时保持或提升了准确性，该成果在真实世界卫星数据和基准任务中得到验证。

ABSTRACT

Probabilistic techniques are central to data analysis, but different approaches can be difficult to apply, combine, and compare. This paper introduces composable generative population models (CGPMs), a computational abstraction that extends directed graphical models and can be used to describe and compose a broad class of probabilistic data analysis techniques. Examples include hierarchical Bayesian models, multivariate kernel methods, discriminative machine learning, clustering algorithms, dimensionality reduction, and arbitrary probabilistic programs. We also demonstrate the integration of CGPMs into BayesDB, a probabilistic programming platform that can express data analysis tasks using a modeling language and a structured query language. The practical value is illustrated in two ways. First, CGPMs are used in an analysis that identifies satellite data records which probably violate Kepler's Third Law, by composing causal probabilistic programs with non-parametric Bayes in under 50 lines of probabilistic code. Second, for several representative data analysis tasks, we report on lines of code and accuracy measurements of various CGPMs, plus comparisons with standard baseline solutions from Python and MATLAB libraries.

研究动机与目标

• 解决当前依赖于分离形式化和工具的多样化概率数据分析技术在整合、比较和组合方面的挑战。
• 将一系列广泛的方法——包括层次贝叶斯模型、核密度估计、聚类、降维和判别学习——统一到单一计算抽象之下。
• 通过与BayesDB（一种具有建模语言和结构化查询语言的概率编程平台）的集成，实现实用、可扩展且可组合的概率建模。
• 在真实世界、高维、异构且观测稀疏的数据集上展示该框架的实用性，包括对卫星数据的因果建模。
• 量化CGPMs相较于Python和MATLAB中标准实现的效率与准确性提升。

提出的方法

• 将CGPMs定义为封装概率模型的计算接口，支持可观测变量和衍生随机变量的概率密度评估与采样。
• 将有向图模型扩展为计算形式化，其中每个CGPM节点代表一个具有输入/输出变量的复杂统计对象，并支持条件化与边缘化操作。
• 为多种模型族实现CGPMs：参数与非参数贝叶斯模型、核密度估计器、最近邻方法、随机森林、主成分分析（PCA）以及因果概率程序。
• 通过元建模语言（MML）和贝叶斯查询语言（BQL）将CGPMs集成到BayesDB中，支持将模型组合为混合的、有向无环网络。
• 通过MML新增的语法支持层次化与合并的种群建模，实现跨种群的迁移学习。
• 采用两阶段推断策略：首先独立训练CGPMs，然后通过多组插补网络的插补与集成学习进行优化，以提升鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种统一的计算抽象，将贝叶斯推断、核方法和机器学习等多样化概率数据分析技术整合到单一框架中？
• RQ2 如何扩展概率编程平台（如BayesDB），以支持对复杂、高维、异构类型且观测稀疏的数据进行可组合、模块化和可扩展的建模？
• RQ3 与Python和MATLAB中的标准库实现相比，CGPMs在不牺牲准确性的前提下，能在多大程度上降低实现复杂度（以代码行数衡量）？
• RQ4 CGPM框架在涉及复杂依赖关系的实际应用中（如在卫星数据中检测违反物理定律的行为，例如开普勒第三定律）的效能如何？
• RQ5 CGPM接口能否支持模型评估与比较机制，例如估计预测分布之间的KL散度，以实现概率模型的标准化分析？

主要发现

• CGPMs支持在单一、可组合接口中实现广泛的概率模型，包括层次贝叶斯模型、非参数贝叶斯模型、核密度估计器和判别学习器。
• 该框架相较于Python和MATLAB中的标准实现，代码量减少了约10倍，且在基准数据分析任务中未损失准确性。
• 在真实世界卫星数据分析中，CGPMs通过组合因果概率程序与非参数贝叶斯推断，在不到50行概率代码内成功识别出可能违反开普勒第三定律的记录。
• CGPMs与BayesDB的集成通过MML和BQL支持混合建模，使用户能够将模型组合为广义的有向无环图，并使用结构化语法进行查询。
• 所提出的推断策略——先独立训练CGPMs，再通过基于插补的优化与集成学习——提升了鲁棒性，并支持对多组插补结果的整合。
• CGPM接口支持与模型无关的评估，例如估计预测分布之间的KL散度，从而实现概率模型的标准化比较与性能分析。