[论文解读] Probabilistic Inductive Logic Programming Based on Answer Set Programming

Matthias Nickles, Alessandra Mileo|arXiv (Cornell University)|May 4, 2014

Logic, Reasoning, and Knowledge参考文献 25被引用 17

一句话总结

该论文提出了一种基于答案集编程（ASP）的新型概率归纳逻辑编程框架，支持一阶公式和ASP规则的概率注释，其语义基于软约束和硬约束。该框架通过数值微分的梯度上升法实现参数估计，在复杂关系领域中具备不确定性时仍能实现精确推理与学习。

ABSTRACT

We propose a new formal language for the expressive representation of probabilistic knowledge based on Answer Set Programming (ASP). It allows for the annotation of first-order formulas as well as ASP rules and facts with probabilities and for learning of such weights from data (parameter estimation). Weighted formulas are given a semantics in terms of soft and hard constraints which determine a probability distribution over answer sets. In contrast to related approaches, we approach inference by optionally utilizing so-called streamlining XOR constraints, in order to reduce the number of computed answer sets. Our approach is prototypically implemented. Examples illustrate the introduced concepts and point at issues and topics for future research.

研究动机与目标

• 为关系领域中概率知识表示缺乏表达性强且可扩展的框架提供解决方案。
• 通过软约束和硬约束，实现对一阶逻辑和ASP规则的概率推理。
• 通过基于梯度的优化方法，从关系数据中实现公式权重的参数估计。
• 通过可选的XOR约束简化技术，降低推理计算成本。
• 为未来在结构学习与性能优化方面的研究提供基础。

提出的方法

• 对一阶公式和ASP规则进行概率注释，以表示不确定性。
• 通过软约束和硬约束赋予语义，定义答案集上的概率分布。
• 使用答案集求解器计算稳定模型，可选地通过XOR约束简化技术减少答案集数量。
• 采用数值微分近似梯度，使用Barzilai-Borwein方法进行优化。
• 应用梯度上升法，以最大化给定假设和背景知识下观测样本的似然度。
• 实现了一个支持推理与权重学习的原型系统，并在定位场景中进行了实证评估。

实验结果

研究问题

• RQ1 如何在支持关系结构与不确定性的逻辑编程框架中有效表示概率知识？
• RQ2 能否将答案集编程扩展以支持具有完整表达能力的公式与规则权重的概率推理？
• RQ3 如何为具有复杂关系数据的 probabilistic logic programs 高效地执行参数估计？
• RQ4 简化XOR约束对减少答案集数量及提升推理可扩展性有何影响？
• RQ5 在实践中，基于梯度的公式权重学习在准确性和效率方面表现如何？

主要发现

• 该框架支持对任意一阶公式和ASP规则进行概率注释，且无句法限制。
• 在100个点的室内定位示例中，不使用采样的推理耗时约2250 ms，表明在中等规模问题上具备可行性。
• 当点数增至1000时，仅通过采样才能使推理变得可行，凸显了对可扩展技术的迫切需求。
• 对被移除的公式（moved(1)）的参数学习在约3170 ms内收敛至Pr(moved(1)) ≈ 0，证实了从数据中有效学习的能力。
• 即使在无法获得闭式表达式时，使用小步长h（如√ε × wi）的数值微分方法仍能实现有效的梯度近似。
• 该方法支持从正例和未加权的事实中进行学习，支持灵活的示例指定方式。