[论文解读] Probabilistic Programming Concepts

Luc De Raedt, Angelika Kimmig|arXiv (Cornell University)|Dec 16, 2013

Bayesian Modeling and Causal Inference参考文献 39被引用 7

一句话总结

本文识别了各类概率逻辑编程语言中的核心概率编程概念——如随机变量、否定、时间与连续分布——分析其执行机制，并将其映射到推理技术。该研究为当前最先进的语言（如ProbLog、PRISM和ICL）提供了统一的比较框架，揭示了不同原语如何实现相同概念，以及推理方法如何决定语言的能力与局限性。

ABSTRACT

A multitude of different probabilistic programming languages exists today, all extending a traditional programming language with primitives to support modeling of complex, structured probability distributions. Each of these languages employs its own probabilistic primitives, and comes with a particular syntax, semantics and inference procedure. This makes it hard to understand the underlying programming concepts and appreciate the differences between the different languages. To obtain a better understanding of probabilistic programming, we identify a number of core programming concepts underlying the primitives used by various probabilistic languages, discuss the execution mechanisms that they require and use these to position state-of-the-art probabilistic languages and their implementation. While doing so, we focus on probabilistic extensions of logic programming languages such as Prolog, which have been developed since more than 20 years.

研究动机与目标

• 为应对概率编程语言日益增长的复杂性与多样性，这些语言之间的差异使得理解其内在相似性与差异性变得困难。
• 识别并形式化一组支撑各类语言的核心概率编程概念，超越语法差异，深入到语义与计算原理层面。
• 分析每种概念所依赖的执行机制与推理过程，从而实现对现有系统的系统性比较。
• 将主要的概率逻辑编程语言（如ProbLog、PRISM、ICL）及其实现方式，基于这些概念与推理技术进行定位。
• 提供一份全面且最新的综述，统一整合概念、原语与推理机制，填补以往综述过时或不完整的空白。

提出的方法

• 识别核心概率编程概念，如离散与连续随机变量、失败时的否定、时间与动态性、元调用，以及广义标签。
• 将推理机制分类为精确与近似、前向与后向推理，以及基于采样的方法，并分析其与各概念的兼容性。
• 以分布语义学（Sato, 1995）作为统一基础，其中随机变量对应于基事实，而逻辑程序定义条件依赖关系。
• 将语法原语（如带标注的析取、开关、灵活概率）映射到其底层概念，展示不同语言如何以不同方式实现相同概念。
• 基于各系统对每种概念与推理方法的支持程度，评估其实现（如ProbLog1/2、PRISM、cplint、AILog2），以执行机制作为统一视角。
• 讨论随机记忆化与证明搜索在实现高效推理中的作用，特别是在后向推理与精确推理中的应用。

实验结果

研究问题

• RQ1 支撑多样化概率语言的根本概率编程概念是什么？它们在不同系统之间如何关联？
• RQ2 不同的推理机制（精确 vs. 近似，前向 vs. 后向，采样 vs. 枚举）如何支持或限制核心概率概念的实现？
• RQ3 为何分布语义学是统一概率逻辑编程语言的合适基础？它与统计关系学习中基于知识的模型构建有何不同？
• RQ4 为何精确推理在前向推理中存在局限？为何后向推理在实践中更为广泛采用？
• RQ5 基于采样的推理方法，尤其是后向采样，如何支持连续分布与广义标签等复杂概念？

主要发现

• 分布语义学为概率逻辑编程提供了统一基础，其中随机变量对应于基事实，而逻辑程序定义条件依赖关系。
• 使用后向推理的精确推理是最广泛支持的方法，已在ProbLog1、cplint、PITA和AILog2等系统中实现，通常结合随机记忆化以提升效率。
• 前向采样在理论上是可行的，但在所调研的任何系统中均未实现；而后向采样支持除广义标签外的所有概念。
• 连续分布仅在基于采样的方法中得到实际支持，而无法在精确推理中实现，原因在于需处理不可数的取值。
• 灵活概率与失败时的否定被大多数系统支持，而高级功能如广义标签与混合模型（如Hybrid ProbLog）则仅在ProbLog1与cplint中提供。
• 推理方法的选择直接决定了哪些编程概念可被有效支持，其中后向采样是最具灵活性与通用性的方法。