[论文解读] Stochastic Logic Programs: Sampling, Inference and Applications

James Cussens|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 6被引用 43

一句话总结

本文提出了一种基于变量消去法的精确推理算法和基于重要性采样法的近似推理算法，用于随机逻辑程序（Stochastic Logic Programs, SLPs）的推理。研究展示了如何通过逻辑程序和贝叶斯网络结构，利用SLPs对机器学习中的先验分布进行建模，并应用Metropolis-Hastings算法从后验分布中采样，同时提供了基于Prolog的实现以供实际应用。

ABSTRACT

Algorithms for exact and approximate inference in stochastic logic programs (SLPs) are presented, based respectively, on variable elimination and importance sampling. We then show how SLPs can be used to represent prior distributions for machine learning, using (i) logic programs and (ii) Bayes net structures as examples. Drawing on existing work in statistics, we apply the Metropolis-Hasting algorithm to construct a Markov chain which samples from the posterior distribution. A Prolog implementation for this is described. We also discuss the possibility of constructing explicit representations of the posterior.

研究动机与目标

• 开发高效的随机逻辑程序（SLPs）推理算法，支持精确推理与近似推理。
• 展示SLPs如何通过逻辑程序和贝叶斯网络结构，在机器学习中表示先验分布。
• 应用马尔可夫链蒙特卡洛方法，特别是Metropolis-Hastings算法，对SLPs中的后验分布进行采样。
• 提供基于Prolog的实用实现，用于SLPs中的推理与采样。
• 探索在SLPs中构建后验分布显式表示的可行性。

提出的方法

• 通过系统性地消除变量，利用变量消去法实现SLPs中的精确推理，以计算边缘概率。
• 采用重要性采样作为近似推理方法，根据样本在模型下的似然度为其分配权重。
• 应用Metropolis-Hastings算法构建一个马尔可夫链，使其收敛到SLPs参数的后验分布。
• 通过将SLPs编码为逻辑规则与随机选择的组合，整合逻辑编程与概率图模型。
• 开发基于Prolog的实现，以执行推理与采样过程，支持SLPs的实用化实验。
• 利用贝叶斯推理中的现有统计方法，处理SLPs中的参数学习与后验计算。

实验结果

研究问题

• RQ1 如何利用变量消去法在SLPs中高效实现精确推理？
• RQ2 重要性采样作为SLPs中的近似推理方法，其有效性如何？
• RQ3 如何将Metropolis-Hastings算法适配以从SLPs的后验分布中采样？
• RQ4 SLPs在机器学习任务中，如何通过逻辑程序和贝叶斯网络结构表示先验分布？
• RQ5 在SLPs中构建后验分布的显式表示是否可行？其计算权衡是什么？

主要发现

• 变量消去法通过利用条件独立性结构，为SLPs中的精确推理提供了高效方法。
• 重要性采样为近似推理提供了一种可扩展的替代方案，尤其适用于复杂或高维模型。
• Metropolis-Hastings算法成功生成了SLPs参数后验分布的有效样本。
• SLPs能够通过逻辑程序和贝叶斯网络结构有效编码先验知识，从而在机器学习中实现灵活建模。
• 基于Prolog的实现支持推理与采样的实际执行，证明了逻辑与概率集成的可行性。
• 显式后验表示在理论上是可能的，但计算上具有挑战性，表明表达能力与可计算性之间存在权衡。