[论文解读] Scaling up Hybrid Probabilistic Inference with Logical and Arithmetic Constraints via Message Passing

Zhe Zeng, Paolo Morettin+3 more|arXiv (Cornell University)|Feb 28, 2020

Bayesian Modeling and Causal Inference被引用 6

一句话总结

该论文提出 MP-WMI，一种基于消息传递的新型 WMI 求解器，可在具有逻辑和算术约束的树状结构 WMI 问题上实现精确推理。其在可扩展性方面达到最先进水平，支持高达 100 个变量的问题，并支持多查询间的代价分摊，实现对同时边际密度计算的显著加速，相较于以往的精确求解器在运行时间和可扩展性方面表现更优。

ABSTRACT

Weighted model integration (WMI) is a very appealing framework for probabilistic inference: it allows to express the complex dependencies of real-world problems where variables are both continuous and discrete, via the language of Satisfiability Modulo Theories (SMT), as well as to compute probabilistic queries with complex logical and arithmetic constraints. Yet, existing WMI solvers are not ready to scale to these problems. They either ignore the intrinsic dependency structure of the problem at all, or they are limited to too restrictive structures. To narrow this gap, we derive a factorized formalism of WMI enabling us to devise a scalable WMI solver based on message passing, MP-WMI. Namely, MP-WMI is the first WMI solver which allows to: 1) perform exact inference on the full class of tree-structured WMI problems; 2) compute all marginal densities in linear time; 3) amortize inference inter query. Experimental results show that our solver dramatically outperforms the existing WMI solvers on a large set of benchmarks.

研究动机与目标

• 为解决现有 WMI 求解器在可扩展性方面的局限性，这些求解器要么忽略问题结构，要么仅限于狭窄的问题类别。
• 将可 tractable WMI 推理的边界扩展至现有类别的之外，特别是针对具有复杂逻辑和算术约束的问题。
• 设计一种基于消息传递的框架，以实现对树状结构 WMI 问题的精确推理，支持单查询与多查询工作负载。
• 通过同时计算所有变量的边际密度，实现查询间代价分摊，从而降低整体推理成本。
• 在具有真实世界结构的大规模基准测试上，实证验证所提出求解器的可扩展性与效率。

提出的方法

• 基于 SMT 公式的原始图结构，推导出一种因子化 WMI 计算框架，支持在树状结构因子图上进行消息传递。
• 设计一种新颖的消息传递算法，传播符号权重函数，并通过符号积分在局部进行集成，避免数值重建。
• 采用符号积分高效计算单变量和多变量多项式积分，其平均时间复杂度在单项式数量上为线性。
• 通过在因子图上单次遍历中同时计算所有边际和矩，实现查询间代价分摊。
• 利用 SMT(ℝ) 框架表达具有复杂逻辑和算术约束的混合连续-离散问题。
• 将 WMI 推理简化为在树状结构因子图上的一系列局部计算，从而实现该类问题的多项式时间精确推理。

实验结果

研究问题

• RQ1 MP-WMI 是否能将 WMI 推理的规模扩展至超过现有精确求解器的水平？
• RQ2 查询间代价分摊在减少多个查询的累计查询响应时间方面效果如何？
• RQ3 在 MP-WMI 中使用符号积分是否比现有求解器中使用的数值积分带来更好的性能？
• RQ4 MP-WMI 是否能处理包含多项式权重和复杂约束的全部树状结构 WMI 问题类别？
• RQ5 在具有不同树状拓扑的基准测试中，MP-WMI 与最先进 WMI 求解器相比性能如何？

主要发现

• 在星型图结构上，MP-WMI 可扩展至 60 个变量，而在路径和完全三叉树结构上可扩展至 90 个变量，远超 WMI-PA 和 F-XSDD(BR) 的 20 个变量限制。
• 在单查询推理中，由于符号积分的平均时间复杂度低于数值插值，MP-WMI 的运行速度比 SMI 快达两个数量级。
• MP-WMI 通过同时计算所有边际密度实现查询间代价分摊，与 SMI 相比，100 个查询的累计运行时间最多可减少两个数量级。
• 该求解器支持对目前已知最大的可 tractable WMI 问题类的精确推理，包括具有多项式权重和复杂逻辑约束的问题。
• 实证结果证实，MP-WMI 在树状结构基准测试中，无论是可扩展性还是效率方面，均优于所有现有精确 WMI 求解器。
• 在高次多项式上，MP-WMI 中使用的符号积分相比 SMI 中的数值方法表现出更优性能，后者在多项式次数上呈二次方增长。