[论文解读] Validating WordNet Meronymy Relations using Adimen-SUMO

Javier Álvez, Itziar González-Dios+1 more|arXiv (Cornell University)|May 20, 2018

Natural Language Processing Techniques被引用 1

一句话总结

本文提出了一种半自动框架，利用一阶逻辑自动定理证明器（ATPs）和Adimen-SUMO本体，验证WordNet的组成关系。通过迭代改进WordNet-SUMO映射并修正本体不一致，作者将WordNet组成关系的验证率从6%提升至33%，仅用26小时手动工作即实现F1分数35分的提升。

ABSTRACT

In this paper, we report on the practical application of a novel approach for validating the knowledge of WordNet using Adimen-SUMO. In particular, this paper focuses on cross-checking the WordNet meronymy relations against the knowledge encoded in Adimen-SUMO. Our validation approach tests a large set of competency questions (CQs), which are derived (semi)-automatically from the knowledge encoded in WordNet, SUMO and their mapping, by applying efficient first-order logic automated theorem provers. Unfortunately, despite of being created manually, these knowledge resources are not free of errors and discrepancies. In consequence, some of the resulting CQs are not plausible according to the knowledge included in Adimen-SUMO. Thus, first we focus on (semi)-automatically improving the alignment between these knowledge resources, and second, we perform a minimal set of corrections in the ontology. Our aim is to minimize the manual effort required for an extensive validation process. We report on the strategies followed, the changes made, the effort needed and its impact when validating the WordNet meronymy relations using improved versions of the mapping and the ontology. Based on the new results, we discuss the implications of the appropriate corrections and the need of future enhancements.

研究动机与目标

• 本文旨在通过与形式化本体进行自动验证，解决WordNet中组成关系的不一致性。
• 通过改进WordNet与SUMO之间的映射，减少手动验证的工作量。
• 本研究聚焦于利用逻辑推理与本体修正，提升组成关系（部分、成员、物质）的准确性。
• 评估结构修正、机会性修正与本体修正对验证性能的影响。
• 目标是建立一种可扩展的半自动方法，利用形式化本体与自动定理证明验证词汇知识库。

提出的方法

• 基于预定义的问题模式，从WordNet、SUMO及其映射中半自动地生成能力问题（CQs）。
• 使用一阶逻辑（FOL）ATPs，对Adimen-SUMO本体验证这些CQs的逻辑蕴含关系。
• 该方法包含三个阶段：(1) 识别无效的CQs，(2) 改进WordNet-SUMO映射，(3) 修正Adimen-SUMO本体。
• 基于ATP失败分析，选择性地应用手动修正，针对结构问题、机会性问题与本体问题。
• 验证过程为迭代式，每一阶段均通过优化映射与本体以提升ATP的成功率。
• 该框架利用现有词汇与本体资源，在最小化人工干预的同时最大化逻辑一致性。

实验结果

研究问题

• RQ1 多大程度上，自动定理证明可以验证WordNet组成关系与Adimen-SUMO之间的关系？
• RQ2 在与SUMO交叉检查时，WordNet组成关系验证率低的主要原因是什么？
• RQ3 半自动修正流程在提升组成关系验证率方面的有效性如何？
• RQ4 本体层修正与映射层修正对验证性能的影响有何差异？
• RQ5 是否可以通过极少的人工干预显著提升词汇知识库的逻辑一致性？

主要发现

• WordNet组成关系在Adimen-SUMO上的初始验证率仅为6%，表明存在显著的不一致性。
• 在应用半自动修正流程后，验证率提升至约33%，F1分数提高35分。
• 修正过程仅需26小时手动工作，表明错误修复具有极高效率。
• 结构与本体修正的影响大于机会性修正，其中本体修改尤其具有影响力。
• 大多数未验证的关系是由于孤立的映射错误或缺失的本体公理所致，而非ATP本身的系统性限制。
• 本研究证实，有针对性的、最小化的人工干预可显著提升大型词汇-语义资源的逻辑一致性。