[论文解读] Using Recurrent Neural Network for Learning Expressive Ontologies

Giulio Petrucci, Chiara Ghidini+1 more|arXiv (Cornell University)|Jul 14, 2016

Topic Modeling参考文献 3被引用 4

一句话总结

本文提出一种基于门控循环单元（GRUs）的循环神经网络（RNN）架构，旨在从自然语言文本中自动学习表达性本体。通过将本体学习建模为序列到序列的转换任务——将过程分解为公式模板生成与句子标注两个阶段——该模型能够以最少的手动规则工程，将非结构化文本映射为形式化的OWL类逻辑公式，展示了在可扩展、领域无关的本体构建方面具有潜力。

ABSTRACT

Recently, Neural Networks have been proven extremely effective in many natural language processing tasks such as sentiment analysis, question answering, or machine translation. Aiming to exploit such advantages in the Ontology Learning process, in this technical report we present a detailed description of a Recurrent Neural Network based system to be used to pursue such goal.

研究动机与目标

• 解决从非结构化文本中手动构建表达性本体所面临的高成本与高复杂性问题。
• 通过利用神经网络，减少在本体学习中对手动编写规则和模式的依赖。
• 通过从自然语言中端到端学习，实现领域无关的本体构建。
• 探索使用RNN从自然语言描述中生成复杂、逻辑结构化公式的可行性。
• 在最小化人工干预的前提下，提升本体学习的可扩展性与表达性。

提出的方法

• 该系统将本体学习建模为序列到序列的转换任务，将其分解为两个阶段：公式模板生成与句子标注。
• 采用基于门控循环单元（GRUs）的序列到序列RNN模型，从输入句子生成逻辑公式，通过建模每个步骤上公式项的概率分布来实现。
• 该模型采用分层架构，编码器用于处理输入句子，解码器用于生成输出公式，两者均使用GRUs进行隐藏状态更新。
• GRU单元通过重置门与更新门控制信息流动，实现短期记忆与相关上下文的动态保留。
• 损失函数为对独热编码的真实公式进行的分类交叉熵，训练过程中通过优化以最小化预测误差。
• 最终公式通过自回归方式逐项采样，每一步均基于完整输入句子与模型参数生成最可能的标记。

实验结果

研究问题

• RQ1 序列到序列的RNN模型能否有效学习将自然语言描述映射为本体语言中的形式化逻辑公式？
• RQ2 GRUs在多大程度上能够捕捉生成复杂、表达性强的本体公理所必需的句法与语义结构？
• RQ3 该方法能否在保持高表达性的同时，减少本体学习中对手动规则工程的依赖？
• RQ4 该模型在具有相似底层逻辑结构但不同语言表面形式的文本上，泛化能力如何？
• RQ5 所提出的方法是否具备可扩展性，并适用于无约束的真实世界自然语言文本？

主要发现

• 所提出的基于RNN的系统成功地将本体学习建模为序列到序列的转换任务，实现了从自然语言到形式化逻辑公式的端到端学习。
• GRU的使用使模型能够保持相关上下文并控制信息流动，从而在处理复杂句法结构时表现更优。
• 通过结合公式模板阶段与句子标注阶段，模型实现了逻辑一致公式的生成，支持在多样化语言形式间进行结构泛化。
• 训练过程有效利用了大规模未标注文本数据，降低了对人工特征工程的依赖。
• 该系统目前正处于评估阶段，主要目标是评估其可扩展性、领域独立性以及处理无约束自然语言的能力。
• 该方法在降低本体开发工程成本的同时，支持表达性强、形式化的表示，展现出良好前景。