[论文解读] Recursive Feature Generation for Knowledge-based Learning

Lior Friedman, Shaul Markovitch|arXiv (Cornell University)|Jan 31, 2018

Text and Document Classification Technologies参考文献 30被引用 4

一句话总结

本文提出 FEAGURE，一种递归特征生成方法，通过从知识库中注入外部关系知识来增强学习算法。通过将特征值视为对象，并利用背景知识对它们递归训练分类器，该方法生成高层次、可泛化的特征，显著提升文本分类性能。

ABSTRACT

When humans perform inductive learning, they often enhance the process with background knowledge. With the increasing availability of well-formed collaborative knowledge bases, the performance of learning algorithms could be significantly enhanced if a way were found to exploit these knowledge bases. In this work, we present a novel algorithm for injecting external knowledge into induction algorithms using feature generation. Given a feature, the algorithm defines a new learning task over its set of values, and uses the knowledge base to solve the constructed learning task. The resulting classifier is then used as a new feature for the original problem. We have applied our algorithm to the domain of text classification using large semantic knowledge bases. We have shown that the generated features significantly improve the performance of existing learning algorithms.

研究动机与目标

• 解决现有特征生成方法仅依赖组合现有特征的局限性，这些方法在复杂现实场景中往往难以泛化。
• 使机器学习算法能够利用外部背景知识——尤其是来自大型、结构良好知识库（如 Freebase 和 YAGO）的知识——通过将其转化为有意义的高层次特征。
• 开发一种通用、与算法无关的方法，可与任何现有归纳算法集成，以提升其泛化能力和性能。
• 通过将罕见或未见过的特征值（例如，特定国家患者的姓氏）抽象为更高级别的语义类别，克服学习算法在面对此类情况时的泛化能力差的问题。

提出的方法

• 该方法将输入特征的每个唯一值（例如姓氏）视为对象，并利用关系知识库的事实作为特征，在这些值上构建新的学习问题。
• 对于每个此类派生的学习问题，应用归纳算法（例如决策树）来学习一个分类器，以区分新任务中的正样本和负样本。
• 随后，将所得分类器用作原始学习问题中的新二元特征，通过将其应用于原始特征值（例如，将国籍分类器应用于某人的姓氏）。
• 该过程被递归应用：新生成的特征本身也可用作进一步递归特征生成的输入，从而实现多级抽象。
• 该算法使用逻辑精炼（例如，添加约束如 'CapitalOf(Y,Z)'）来探索并从知识库中生成更具表现力和特定性的特征公式。
• 该方法具有通用性，可与任何归纳算法兼容，因为每个递归步骤的输出都是一个可作为特征使用的训练分类器。

实验结果

研究问题

• RQ1 从关系知识库中进行递归特征生成，是否能提升现有学习算法在文本分类任务中的泛化能力？
• RQ2 该方法在捕捉原始特征集中未直接编码的高层次语义模式（例如地理区域）方面有多有效？
• RQ3 与单级特征生成相比，递归应用特征生成在多大程度上提升了性能？
• RQ4 通过利用基于抽象知识的特征，该方法能否在处理未见过的特征值（例如，已知国家的新姓氏）时实现泛化？
• RQ5 与仅依赖特征组合或语言学预处理的现有特征生成技术相比，该方法的性能如何？

主要发现

• 所提出的递归特征生成方法通过从关系知识库中注入外部知识，显著提升了现有学习算法在文本分类任务中的性能。
• 使用 Freebase 和 YAGO 等知识库，能够生成抽象且可泛化的特征（例如，'位于东欧'），捕捉超越原始特征值的语义关系。
• 递归应用该方法带来了更好的泛化能力，使模型能够处理训练数据中未明确包含的国家的未见过姓氏。
• 与仅依赖原始特征或简单特征组合的基线模型相比，该方法表现更优，尤其在特征稀疏或非判别性的情况下。
• 该方法具有通用性，可与任何归纳算法兼容，因为生成的特征是可作为黑箱输入到原始学习流程中的分类器。
• 即使原始特征判别能力有限（例如姓氏），该方法仍通过知识库推理将它们转化为语义上有意义的抽象，表现出有效性。