[论文解读] Swift: compiled inference for probabilistic programming languages

Yi Wu, Lei Li+2 more|arXiv (Cornell University)|Jul 9, 2016

Bayesian Modeling and Causal Inference参考文献 28被引用 7

一句话总结

Swift 是 BLOG 概率编程语言的编译器，通过静态优化消除了运行时解释执行的开销，高效管理动态依赖关系和可变大小的可能世界，并在各种推理工作负载上实现了相较于现有 PPL 推理引擎 12 倍至 326 倍的加速。

ABSTRACT

A probabilistic program defines a probability measure over its semantic structures. One common goal of probabilistic programming languages (PPLs) is to compute posterior probabilities for arbitrary models and queries, given observed evidence, using a generic inference engine. Most PPL inference engines--even the compiled ones--incur significant runtime interpretation overhead, especially for contingent and open-universe models. This paper describes Swift, a compiler for the BLOG PPL. Swift-generated code incorporates optimizations that eliminate interpretation overhead, maintain dynamic dependencies efficiently, and handle memory management for possible worlds of varying sizes. Experiments comparing Swift with other PPL engines on a variety of inference problems demonstrate speedups ranging from 12x to 326x.

研究动机与目标

• 为减少现有概率编程语言（PPL）推理引擎中固有的显著运行时解释执行开销，特别是针对条件模型和开放世界模型。
• 通过静态分析和优化动态依赖关系及可能世界之间的内存分配，实现概率程序的高效编译。
• 在保持正确性和表达力的同时，通过静态编译实现高性能，避免运行时解释执行带来的性能损失。
• 证明编译推理在广泛范围的概率推理问题上可超越现有通用推理引擎的性能表现。

提出的方法

• 将 BLOG 程序编译为高效的低级代码，消除对概率构造运行时解释执行的需求。
• 应用静态分析，在编译时识别并编码随机变量与证据之间的动态依赖关系。
• 生成能够使用优化分配策略管理不同大小可能世界的内存的代码。
• 引入一个编译管道，在保留原始概率程序语义的同时实现高性能执行。
• 结合类型推断与控制流分析，指导优化并确保编译输出的正确性。
• 采用自定义中间表示，跟踪可能世界的创建与证据传播，以实现高效推理。

实验结果

研究问题

• RQ1 静态编译能否消除概率编程语言中运行时解释执行的性能开销？
• RQ2 编译器在条件模型和开放世界模型中，对动态依赖关系和可变大小可能世界的管理效率如何？
• RQ3 与现有推理引擎相比，将 BLOG 这类 PPL 编译后能实现多大的性能提升？
• RQ4 该编译方法在复杂度各异的多样化概率推理问题上是否具备良好的可扩展性？

主要发现

• Swift 在一系列推理问题上相较现有 PPL 推理引擎实现了 12 倍至 326 倍的加速。
• 消除解释执行开销带来了显著的性能提升，尤其在具有复杂动态依赖关系的模型中表现突出。
• 通过静态编译和优化的分配策略，可变大小可能世界的内存管理得到了高效处理。
• 该方法在保持正确性和表达力的同时，在基准工作负载中显著优于解释执行和编译推理引擎。
• 性能提升在条件模型和开放世界模型中最为显著，这些模型通常具有最高的解释执行开销。