[论文解读] Probabilistic Inference Modulo Theories

Rodrigo de Salvo Braz, Ciaran O’Reilly+2 more|arXiv (Cornell University)|May 26, 2016

Bayesian Modeling and Causal Inference被引用 15

一句话总结

该论文提出SGDPLL(T)，一种提升的、精确的推理算法，其将DPLL和SMT推广至模理论的概率推理，支持命题逻辑、等式以及有界整数上的差分算术。通过符号运算和Faulhaber公式，该算法在域大小上实现常数时间复杂度，实验结果表明其性能优于当前最先进的求解器。

ABSTRACT

We present SGDPLL(T), an algorithm that solves (among many other problems) probabilistic inference modulo theories, that is, inference problems over probabilistic models defined via a logic theory provided as a parameter (currently, propositional, equalities on discrete sorts, and inequalities, more specifically difference arithmetic, on bounded integers). While many solutions to probabilistic inference over logic representations have been proposed, SGDPLL(T) is simultaneously (1) lifted, (2) exact and (3) modulo theories, that is, parameterized by a background logic theory. This offers a foundation for extending it to rich logic languages such as data structures and relational data. By lifted, we mean algorithms with constant complexity in the domain size (the number of values that variables can take). We also detail a solver for summations with difference arithmetic and show experimental results from a scenario in which SGDPLL(T) is much faster than a state-of-the-art probabilistic solver.

研究动机与目标

• 解决现有高效、精确的概率推理方法在处理概率模型中丰富的逻辑构造（如算术、关系和量词）时的不足。
• 克服现有方法（如命题化或近似推理）的局限性——这些方法要么将模型展开为大型表格，要么缺乏理论基础。
• 开发一种通用的推理框架，兼具提升性（域大小的复杂度恒定）与精确性，并以背景逻辑理论T为参数化。
• 利用代数技术（如Faulhaber公式）实现对具有复杂约束的整数索引的求和的高效计算。
• 为将概率推理扩展至更丰富的逻辑语言（包括数据结构和关系模型）提供基础。

提出的方法

• 通过将背景逻辑理论T作为参数，将DPLL算法推广以处理符号表达式和量化公式。
• 将SMT风格的理论求解扩展至不仅支持可满足性，还支持模型计数和实值表达式的符号求和。
• 使用符号运算来表示和计算涉及自由变量和约束的求和，避免在底层进行枚举。
• 通过Faulhaber公式实现对有界整数上差分算术的专用求解器，以常数时间（相对于域大小）计算多项式求和。
• 应用二项式展开和递归分解，将多项式求和简化为涉及伯努利数的已知闭式表达。
• 通过利用代数恒等式并基于多项式次数预计算系数，确保复杂度与域大小无关。

实验结果

研究问题

• RQ1 是否可以在不进行命题化的情况下，对复杂逻辑模型实现精确且高效的概率推理？
• RQ2 提升推理在多大程度上可以超越一阶逻辑，推广至差分算术和等式等更丰富的理论？
• RQ3 是否可以利用代数技术实现对整数索引的符号求和，且时间复杂度与域大小无关？
• RQ4 SGDPLL(T)在具有复杂逻辑约束的场景下，与当前最先进的概率求解器相比性能如何？
• RQ5 所提出的求解器在多项式求和上的计算复杂度是多少？其随多项式次数和变量依赖关系如何变化？

主要发现

• SGDPLL(T) 通过使用Faulhaber公式，在有界整数上的求和实现域大小的常数时间复杂度，真正实现提升。
• 差分算术和多项式求和的求解器运行时间与索引域大小无关，其复杂度由最大初始多项式次数n决定，为O(n⁵)。
• 在涉及复杂逻辑约束和大域的现实场景中，该算法优于当前最先进的概率求解器。
• Faulhaber公式实现了对形如∑x:l<x≤u t₀ + t₁x + … + tₙxⁿ的求和的精确闭式求值，避免了底层实例化。
• 在多次代数运算下，变量次数线性增长，确保即使在表达式复合时复杂度仍保持可控。
• 该方法支持以自由变量表示的符号输出，从而实现概率查询的灵活且紧凑的表示。