[论文解读] UniRel: Unified Representation and Interaction for Joint Relational Triple Extraction

Wei Tang, Benfeng Xu+5 more|arXiv (Cornell University)|Nov 16, 2022

Topic Modeling被引用 4

一句话总结

UniRel 通过将实体和关系联合编码为单一自然语言序列，并基于 Transformer 自注意力机制构建新型交互图，实现了联合关系三元组抽取的统一框架。该方法通过建模实体-实体和实体-关系之间的交互，在提升语义相关性捕捉能力的同时，实现了 SOTA 性能与更高的效率。

ABSTRACT

Relational triple extraction is challenging for its difficulty in capturing rich correlations between entities and relations. Existing works suffer from 1) heterogeneous representations of entities and relations, and 2) heterogeneous modeling of entity-entity interactions and entity-relation interactions. Therefore, the rich correlations are not fully exploited by existing works. In this paper, we propose UniRel to address these challenges. Specifically, we unify the representations of entities and relations by jointly encoding them within a concatenated natural language sequence, and unify the modeling of interactions with a proposed Interaction Map, which is built upon the off-the-shelf self-attention mechanism within any Transformer block. With comprehensive experiments on two popular relational triple extraction datasets, we demonstrate that UniRel is more effective and computationally efficient. The source code is available at https://github.com/wtangdev/UniRel.

研究动机与目标

• 解决现有关系三元组抽取方法中实体与关系表征异构的问题。
• 克服联合抽取框架中实体-实体与实体-关系依赖关系缺乏交互建模的缺陷。
• 通过统一表征与交互建模，提升端到端关系三元组抽取的性能与计算效率。
• 通过统一序列编码与基于注意力的交互映射，实现更丰富的实体与关系间语义相关性学习。

提出的方法

• 通过将输入句子与候选关系的自然语言描述拼接，形成单一序列，实现实体与关系表征的统一。
• 利用预训练语言模型（如 BERT）编码拼接后的序列，捕捉实体与关系之间的上下文与语义相关性。
• 提出一种交互图（Interaction Map），利用 Transformer 块内的自注意力机制，同时建模实体-实体与实体-关系的交互。
• 设计交互图以保留现成的自注意力机制，无需额外模块，实现高效且统一的交互建模。
• 利用交互图在一次前向传播中预测所有可能的 <主语-关系-客体> 三元组，降低暴露偏差与预测空间复杂度。
• 采用共享的 BERT 编码器对实体与关系进行编码，确保表征空间中的语义一致性。

实验结果

研究问题

• RQ1 统一的实体与关系表征是否能通过捕捉更丰富的语义相关性，提升关系三元组抽取性能？
• RQ2 联合建模实体-实体与实体-关系交互是否优于分别建模？
• RQ3 所提出的统一交互机制能否提升端到端关系三元组抽取的计算效率？
• RQ4 与现有流水线或级联方法相比，统一表征与交互设计在准确率与速度上的表现如何？

主要发现

• UniRel 在 NYT 与 WebNLG 数据集上均取得 SOTA 性能，F1 分数优于现有方法。
• 消融实验表明，若分别建模实体与关系交互（UniRel_separate），性能显著下降，证明了统一交互建模的有效性。
• 在 NYT 数据集上，UniRel 的训练速度比 OneRel 快 3 倍，推理速度快 1.7 倍，展现出更优的计算效率。
• 交互图可视化结果表明，模型能同时捕捉实体-实体与实体-关系交互，注意力模式清晰体现于三元组预测过程中。
• 统一表征设计有助于提升语义相关性学习能力，体现在各类实体-关系交互类型上的 F1 分数均有所提升。
• 即使关系未被显式提及，模型仍能保持强性能，得益于关系在自然语言中的语义编码。