[论文解读] Scaling Up Inductive Logic Programming by Learning from Interpretations

Hendrik Blockeel, Luc De Raedt+2 more|ArXiv.org|Nov 29, 2000

Data Mining Algorithms and Applications参考文献 26被引用 7

一句话总结

本文通过采用“从解释中学习”框架，实现了归纳逻辑编程（ILP）的扩展，该框架允许对每个示例进行局部、独立的覆盖测试，而非全局、数据库密集型的检查。通过实现Tilde ILP系统的两个版本——Tilde classic（内存内）和Tilde LDS（流式处理）——作者证明了系统在100,000个示例（约100 MB）规模下具有线性可扩展性，表明ILP能够处理大规模数据挖掘工作负载，同时保持逻辑表达能力。

ABSTRACT

When comparing inductive logic programming (ILP) and attribute-value learning techniques, there is a trade-off between expressive power and efficiency. Inductive logic programming techniques are typically more expressive but also less efficient. Therefore, the data sets handled by current inductive logic programming systems are small according to general standards within the data mining community. The main source of inefficiency lies in the assumption that several examples may be related to each other, so they cannot be handled independently. Within the learning from interpretations framework for inductive logic programming this assumption is unnecessary, which allows to scale up existing ILP algorithms. In this paper we explain this learning setting in the context of relational databases. We relate the setting to propositional data mining and to the classical ILP setting, and show that learning from interpretations corresponds to learning from multiple relations and thus extends the expressiveness of propositional learning, while maintaining its efficiency to a large extent (which is not the case in the classical ILP setting). As a case study, we present two alternative implementations of the ILP system Tilde (Top-down Induction of Logical DEcision trees): Tilde-classic, which loads all data in main memory, and Tilde-LDS, which loads the examples one by one. We experimentally compare the implementations, showing Tilde-LDS can handle large data sets (in the order of 100,000 examples or 100 MB) and indeed scales up linearly in the number of examples.

研究动机与目标

• 为解决经典归纳逻辑编程（ILP）系统在大规模数据集上因全局覆盖测试和高计算成本而导致的可扩展性限制。
• 证明“从解释中学习”框架可通过解耦示例评估，实现高效、线性时间处理大规模关系型数据库。
• 实现并经验验证Tilde ILP系统的两个版本——Tilde classic（内存内）和Tilde LDS（流式处理），以比较可扩展性和性能。
• 表明可通过“从解释中学习”范式，将命题数据挖掘技术有效升级至关系型、一阶逻辑设置。
• 确立ILP系统现已能够满足现代数据挖掘的标准，可处理100,000个示例或以上的数据集。

提出的方法

• 采用“从解释中学习”设置，将每个示例视为独立的数据库，从而实现局部覆盖测试而非全局测试。
• 设计Tilde LDS以逐个加载和处理示例，实现外部存储处理，降低内存开销。
• 采用受Mehta等人（1996）启发的层级学习策略，并将其适配至一阶逻辑，以实现高效的决策树归纳。
• 使用基于查询的覆盖测试，借助关系型数据库引擎，但对每个示例解耦处理，避免全局状态依赖。
• 通过“从解释中学习”框架，将命题数据挖掘技术（如层级算法）扩展至一阶逻辑设置。
• 在大规模合成数据集和真实世界数据集上对Tilde classic和Tilde LDS进行基准测试，以比较可扩展性和性能。

实验结果

研究问题

• RQ1 归纳逻辑编程能否扩展至处理100,000个示例或以上的大型数据集，达到现代数据挖掘标准？
• RQ2 “从解释中学习”框架是否通过解耦示例处理，实现ILP的线性可扩展性？
• RQ3 在大规模关系型数据上，流式ILP系统（Tilde LDS）与传统内存内ILP系统（Tilde classic）的性能相比如何？
• RQ4 在“从解释中学习”设置下，命题数据挖掘技术在多大程度上可适配至一阶逻辑？
• RQ5 在保持逻辑表达能力的同时，能否实现命题学习的效率？

主要发现

• Tilde LDS成功扩展至100,000个示例（约100 MB）的数据集，证明ILP能够处理大规模数据挖掘工作负载。
• 系统在示例数量上表现出线性可扩展性，证实局部覆盖测试可实现高效、外部存储处理。
• Tilde LDS在内存效率和可扩展性方面优于Tilde classic，尤其在数据无法完全加载至主内存时表现更优。
• “从解释中学习”框架使命题数据挖掘技术可在一阶逻辑环境中重用，弥合了命题方法与ILP方法之间的差距。
• 结果验证了经典ILP中全局覆盖测试是主要瓶颈，其被局部测试替代后可显著提升可扩展性。
• 该方法支持从多个关系中学习，扩展了命题学习的表达能力，同时保持计算效率。