[论文解读] SAT-Based PAC Learning of Description Logic Concepts

Balder ten Cate, Maurice Funk+2 more|arXiv (Cornell University)|May 15, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本文提出有界拟合（bounded fitting），一种基于SAT的PAC学习框架，用于在${\cal E\!\!>LH}^{r}$本体中学习描述逻辑概念。通过使用SAT求解器迭代搜索大小受限的概念，该方法提供了形式化的PAC泛化保证，并通过SPELL系统实现高效学习，在更大概念上的运行时间和可扩展性方面优于现有的ELTL学习器。

ABSTRACT

We propose bounded fitting as a scheme for learning description logic concepts in the presence of ontologies. A main advantage is that the resulting learning algorithms come with theoretical guarantees regarding their generalization to unseen examples in the sense of PAC learning. We prove that, in contrast, several other natural learning algorithms fail to provide such guarantees. As a further contribution, we present the system SPELL which efficiently implements bounded fitting for the description logic $\mathcal{ELH}^r$ based on a SAT solver, and compare its performance to a state-of-the-art learner.

研究动机与目标

• 解决现有描述逻辑概念学习系统缺乏形式化泛化保证的问题。
• 开发一种通过大小受限概念搜索确保PAC学习性质的学习框架。
• 实现一种基于SAT的高效系统，用于在${\cal E\!\!>L}^{r}$本体下学习${\cal E\!\!>L}$概念。
• 实证评估有界拟合相对于最先进学习器的泛化能力和性能。
• 分析替代学习方法（包括精炼算子和最具体/最不具体拟合算法）的样本效率。

提出的方法

• 有界拟合通过逐步增加大小上限，迭代搜索在本体下拟合所有训练样本的概念。
• 将大小受限的拟合问题转化为SAT问题，利用高效的SAT求解器实现可扩展计算。
• 该方法基于奥卡姆剃刀原则，确保返回的概念足够小，从而保证PAC泛化。
• 实现了一个名为SPELL的系统，使用SAT求解器执行有界拟合，将本体和概念约束编码为CNF格式。
• 每轮使用k-通用数据库近似来模拟每个大小上限k下的通用数据库行为。
• 理论分析比较了有界拟合与其他算法（包括基于精炼的方法和最具体拟合方法）的样本效率。

实验结果

研究问题

• RQ1 有界拟合能否为描述逻辑概念学习提供形式化的PAC学习保证？
• RQ2 有界拟合的样本效率与精炼算子或最具体拟合等其他学习算法相比如何？
• RQ3 基于SAT的实现（SPELL）相对于现有DL学习器（如ELTL）的性能如何？
• RQ4 有界拟合是否能比现有系统更高效地学习更大规模的概念？
• RQ5 在小规模训练集下，有界拟合和基于精炼的学习器是否都能对未见数据实现良好泛化？

主要发现

• 有界拟合提供形式化的PAC泛化保证，因为它是一种奥卡姆算法，确保样本复杂度与1/δ、1/ε以及目标概念的大小呈线性关系。
• ${\cal E\!\!>L}$概念在${\cal E\!\!>LH}^{r}$本体下的大小受限拟合问题为NP完全问题，支持高效的SAT编码。
• SPELL在所有数据集上的运行时间均优于ELTL，运行时间显著更低，尤其在处理较大概念时优势明显。
• SPELL的运行时间主要受目标概念大小的影响，使其能够扩展到比ELTL更大的查询规模。
• 即使在极小的训练样本下，SPELL和ELTL对未见数据的泛化能力均表现良好，但ELTL成功的原因尚不明确，因其依赖启发式设计。
• 最具体拟合和标准精炼算子（未引入人工奥卡姆约束）样本效率低下，无法提供PAC保证。