[论文解读] Weight Learning in a Probabilistic Extension of Answer Set Programs

Joohyung Lee, Wang Yi|arXiv (Cornell University)|Aug 14, 2018

Logic, Reasoning, and Knowledge参考文献 16被引用 3

一句话总结

本文提出在 ${\rm LP}^{\rm{MLN}}$ 中进行权重学习，这是一种答案集编程的概率扩展，采用梯度上升法和 MC-ASP 进行基于答案集求解器的 MCMC 采样。该方法使知识密集型领域（如动作规划和归纳诊断）中的概率推理成为可能，学习到的权重反映了从观察到的动作历史中推断出的失败概率。

ABSTRACT

LPMLN is a probabilistic extension of answer set programs with the weight scheme derived from that of Markov Logic. Previous work has shown how inference in LPMLN can be achieved. In this paper, we present the concept of weight learning in LPMLN and learning algorithms for LPMLN derived from those for Markov Logic. We also present a prototype implementation that uses answer set solvers for learning as well as some example domains that illustrate distinct features of LPMLN learning. Learning in LPMLN is in accordance with the stable model semantics, thereby it learns parameters for probabilistic extensions of knowledge-rich domains where answer set programming has shown to be useful but limited to the deterministic case, such as reachability analysis and reasoning about actions in dynamic domains. We also apply the method to learn the parameters for probabilistic abductive reasoning about actions.

研究动机与目标

• 为 ${\rm LP}^{\rm{MLN}}$ 程序实现参数学习，将确定性答案集编程扩展至概率推理。
• 通过从观测数据中学习权重，解决在复杂 ${\rm LP}^{\rm{MLN}}$ 程序中手动赋予权重的挑战。
• 将马尔可夫逻辑网络学习技术（特别是梯度上升和 MCMC 采样）适配到 ${\rm LP}^{\rm{MLN}}$ 的稳定模型语义中。
• 展示 ${\rm LP}^{\rm{MLN}}$ 学习在存在不完整或部分观测数据的领域（如动作失败诊断）中的适用性。
• 通过从历史动作轨迹中学习失败概率，将概率归纳推理集成到动态系统中。

提出的方法

• 将最大似然估计（MLE）的梯度上升方法适配于 ${\rm LP}^{\rm{MLN}}$，通过最大化观测到的稳定模型的似然度来学习规则权重。
• 提出 MC-ASP，一种基于答案集求解器（ASP）而非 SAT 求解器的马尔可夫链蒙特卡洛（MCMC）采样器，其基于 ${\rm LP}^{\rm{MLN}}$ 的惩罚公式化方法。
• 在 MCMC 中将均匀采样器作为黑箱组件使用，以生成候选模型，其接受概率基于虚假规则的惩罚值。
• 将学习框架应用于单个和多个稳定模型场景，并扩展以处理不完整解释。
• 使用变换 $ P(\text{abnormality}) = \frac{\exp(-w)}{\exp(-w) + 1} $ 将学习到的权重转换为失败概率。
• 通过归约方式与现有工具集成：证明 ${\rm LP}^{\rm{MLN}}$ 学习可广义化为 ProbLog 和马尔可夫逻辑学习的特例。

实验结果

研究问题

• RQ1 在稳定模型语义下，如何形式化 ${\rm LP}^{\rm{MLN}}$ 中的权重学习，以支持知识密集型领域中的概率推理？
• RQ2 能否将马尔可夫逻辑中的 MCMC 采样技术适配到 ${\rm LP}^{\rm{MLN}}$ 中并使用答案集求解器？MC-ASP 与 MC-SAT 有何不同？
• RQ3 ${\rm LP}^{\rm{MLN}}$ 学习如何处理部分观测数据（如缺少本体或异常条件的不完整动作轨迹）？
• RQ4 该框架能否通过从动作执行历史中学习失败概率，支持概率归纳推理？
• RQ5 ${\rm LP}^{\rm{MLN}}$ 权重学习与 ProbLog 和马尔可夫逻辑等现有概率逻辑学习框架之间存在何种关系？

主要发现

• 动作失败规则的学习权重分别为：enter_failed 为 -1.084，drop_book 为 -1.064，pickup_failed 为 -0.068，对应的失败概率分别为约 0.253、0.257 和 0.483。
• MC-ASP 通过使用 ASP 求解器实现了 ${\rm LP}^{\rm{MLN}}$ 中的 MCMC 采样，克服了由于确定性依赖关系导致的传统 MCMC 方法在遍历性方面的局限。
• 系统正确识别出故障的最可能原因：当书不在 r2 时，为 pickup_failed；当机器人也不在 r2 时，为 enter_failed。
• 该框架支持从不完整解释中学习，能够基于稳定模型语义推断缺失的本体和异常条件。
• 原型实现成功学习了动态系统中用于归纳推理的参数，展示了该方法在真实世界诊断场景中的实用性。
• 该方法广义化了 ProbLog 和马尔可夫逻辑学习，使得现有工具和算法可在 ${\rm LP}^{\rm{MLN}}$ 的特定子类中复用。