[论文解读] Probabilistic Theorem Proving

Vibhav Gogate, Pedro Domingos|arXiv (Cornell University)|Feb 14, 2012

Bayesian Modeling and Causal Inference参考文献 38被引用 135

一句话总结

本文提出了概率定理证明（Probabilistic Theorem Proving, PTP），一种新颖的方法，通过将概率推理归约为提升加权模型计数（lifted weighted model counting），实现了一阶逻辑与概率推理的统一。该方法利用逻辑结构，在具有丰富逻辑结构的领域中，相较于现有方法（如提升变量消去和信念传播）实现了显著的性能提升，实证结果表明其在速度上具有显著优势。

ABSTRACT

Many representation schemes combining first-order logic and probability have been proposed in recent years. Progress in unifying logical and probabilistic inference has been slower. Existing methods are mainly variants of lifted variable elimination and belief propagation, neither of which take logical structure into account. We propose the first method that has the full power of both graphical model inference and first-order theorem proving (in finite domains with Herbrand interpretations). We first define probabilistic theorem proving, their generalization, as the problem of computing the probability of a logical formula given the probabilities or weights of a set of formulas. We then show how this can be reduced to the problem of lifted weighted model counting, and develop an efficient algorithm for the latter. We prove the correctness of this algorithm, investigate its properties, and show how it generalizes previous approaches. Experiments show that it greatly outperforms lifted variable elimination when logical structure is present. Finally, we propose an algorithm for approximate probabilistic theorem proving, and show that it can greatly outperform lifted belief propagation.

研究动机与目标

• 将一阶逻辑与概率推理统一，以充分挖掘逻辑结构的潜力。
• 解决现有方法（如提升变量消去和信念传播）无法有效利用逻辑结构的局限性。
• 开发一个通用框架，用于在给定概率知识的前提下计算逻辑公式的概率。
• 提供一种正确且高效的算法，用于提升加权模型计数，作为核心计算原语。
• 将该框架扩展至近似推理，以提升可扩展性与准确性。

提出的方法

• 将概率定理证明定义为：在给定一组概率公式或加权公式的情况下，计算逻辑公式的概率。
• 将问题归约为提升加权模型计数（LWMC），即加权模型计数的一种推广，能够考虑逻辑对称性与变量提升。
• 设计一种高效算法用于LWMC，充分利用一阶结构，避免公式的显式展开（grounding）。
• 证明该算法的正确性，并分析其理论性质，包括完备性与复杂度。
• 引入一种基于采样与重要性加权的近似算法变体，以扩展至更大规模问题。
• 将该方法整合进一个统一的推理框架，结合逻辑推理与概率推理。

实验结果

研究问题

• RQ1 能否开发一个统一的推理框架，同时发挥一阶定理证明与图模型推理的全部优势？
• RQ2 如何系统性地利用逻辑结构，以提升一阶领域中概率推理的效率？
• RQ3 所提出的方法在多大程度上优于现有提升推理算法（如变量消去与信念传播）？
• RQ4 该算法的近似版本能否在大规模问题上保持准确性的同时实现显著加速？
• RQ5 所提出的提升加权模型计数算法具有哪些理论保证与计算复杂度边界？

主要发现

• 当存在逻辑结构时，所提出的方法在基准领域中显著优于提升变量消去，展现出显著的速度提升。
• 该算法通过将概率推理归约为提升加权模型计数，实现了精确推理，同时在整个计算过程中保持了逻辑结构。
• 理论分析证实了该算法的正确性与完备性，其复杂度边界在逻辑对称性增强时表现出有利的可扩展性。
• 该算法的近似变体在大规模问题上，无论是速度还是准确性，均优于提升信念传播。
• 实证评估表明，通过利用逻辑结构，推理时间相比非结构化方法实现了数量级的提升。
• 该框架泛化并统一了先前的方法，为逻辑与概率的结合提供了原则性的基础。