[论文解读] Open Relation Modeling: Learning to Define Relations between Entities

Jie Huang, Kevin Chen–Chuan Chang+2 more|arXiv (Cornell University)|Aug 20, 2021

Topic Modeling被引用 4

一句话总结

本文提出了开放关系建模（Open Relation Modeling），这是一种新颖的任务，旨在生成连贯、可解释的句子来描述实体之间的通用关系——尤其是那些在知识图谱中未直接关联的关系。通过微调预训练语言模型（PLMs）以生成基于实体对的定义式描述，并结合知识图谱中的多跳推理路径（采用基于置信度的筛选机制），该模型能够生成简洁、信息丰富且人类可理解的关系描述，显著提升了现有关系抽取方法的可解释性。

ABSTRACT

Relations between entities can be represented by different instances, e.g., a sentence containing both entities or a fact in a Knowledge Graph (KG). However, these instances may not well capture the general relations between entities, may be difficult to understand by humans, even may not be found due to the incompleteness of the knowledge source. In this paper, we introduce the Open Relation Modeling problem - given two entities, generate a coherent sentence describing the relation between them. To solve this problem, we propose to teach machines to generate definition-like relation descriptions by letting them learn from defining entities. Specifically, we fine-tune Pre-trained Language Models (PLMs) to produce definitions conditioned on extracted entity pairs. To help PLMs reason between entities and provide additional relational knowledge to PLMs for open relation modeling, we incorporate reasoning paths in KGs and include a reasoning path selection mechanism. Experimental results show that our model can generate concise but informative relation descriptions that capture the representative characteristics of entities.

研究动机与目标

• 为解决实体之间缺乏可解释的通用关系描述的问题，特别是当它们在文本中未共同出现或在知识图谱中未连接时。
• 开发一种无需预定义关系类型即可生成人类可读、信息丰富的关系描述的方法。
• 通过教导PLMs从实体定义和推理路径中学习，提升关系建模的可解释性和开放性。
• 实现对多跳关系和隐式关系的建模，超越现有知识图谱中的直接事实。

提出的方法

• 微调预训练语言模型（PLMs），使其基于提取的实体对生成类似定义的描述。
• 从文本中收集实体定义，并从这些定义中提取实体对，以构建监督信号用于训练。
• 整合知识图谱中的多跳推理路径，以提供关系知识并增强PLM对实体间关系的推理能力。
• 设计基于置信度的推理路径选择机制，以筛选并优先选择信息丰富且可解释的路径输入PLM。
• 端到端训练模型，生成简洁、上下文准确的关系描述，以反映实体对的代表性特征。
• 利用预训练模型的知识、实体定义以及外部推理路径，增强生成描述的信息量和连贯性。

实验结果

研究问题

• RQ1 预训练语言模型能否在无需预定义关系类型的情况下，有效微调以生成连贯、类似定义的关系描述？
• RQ2 如何有效将知识图谱的推理路径整合到PLMs中，以提升生成关系描述的质量和信息量？
• RQ3 基于置信度的路径选择机制能否提升用于开放关系建模的推理路径的可解释性和相关性？
• RQ4 该模型在生成未在知识图谱中直接连接或在语料库中未共同出现的实体对的关系描述方面，其有效性如何？
• RQ5 与现有的关系抽取或文本到文本生成方法相比，该方法在可解释性以及对隐式或多跳关系的覆盖范围方面表现如何？

主要发现

• 模型生成的描述简洁且信息丰富，能有效捕捉实体对的代表性特征，显著提升了传统关系抽取方法的可解释性。
• 整合知识图谱中的推理路径显著增强了模型生成准确且上下文相关描述的能力，尤其在多跳或隐式关系上表现更优。
• 基于置信度的推理路径选择机制成功筛选并优先处理了信息丰富且可解释的路径，提升了生成描述的质量。
• 模型在知识图谱中未直接连接的实体对上表现良好，证明其对先前未见或不完整关系具有开放性。
• 在实体定义上微调PLMs，使其能够学习通用关系模式，从而生成比零样本或提示工程方法更连贯、语义更丰富的描述。
• 定性结果表明，生成的描述具有人类可读性，并准确捕捉了实体关系的关键方面，例如对‘data mining’和‘database’的关系描述为：'data mining is a process of extracting and discovering patterns in large data sets...'。