[论文解读] Recurrent Interaction Network for Jointly Extracting Entities and Classifying Relations

Kai Sun, Richong Zhang+3 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 32被引用 5

一句话总结

本文提出了一种循环交互网络（RIN），用于联合实体识别与关系分类，通过循环多层架构动态建模任务特定的交互，以提升特征表示。该模型在NYT数据集上取得84.7的F1分数，在WebNLG数据集上取得77.0的F1分数，达到当前最优性能，显著优于现有多任务学习方法，通过显式学习跨任务依赖关系实现。

ABSTRACT

The idea of using multi-task learning approaches to address the joint extraction of entity and relation is motivated by the relatedness between the entity recognition task and the relation classification task. Existing methods using multi-task learning techniques to address the problem learn interactions among the two tasks through a shared network, where the shared information is passed into the task-specific networks for prediction. However, such an approach hinders the model from learning explicit interactions between the two tasks to improve the performance on the individual tasks. As a solution, we design a multi-task learning model which we refer to as recurrent interaction network which allows the learning of interactions dynamically, to effectively model task-specific features for classification. Empirical studies on two real-world datasets confirm the superiority of the proposed model.

研究动机与目标

• 为解决传统多任务学习模型依赖静态共享表示、无法显式建模实体识别与关系分类之间交互的局限性。
• 通过在两个任务间实现动态、迭代的信息交换，提升实体识别与关系分类的分类性能。
• 通过图结构化的循环架构，克服流水线方法中的误差传播问题以及现有MTL模型的限制性扁平结构。
• 通过实证验证，显式动态交互可促进更好的特征学习，并在基准数据集上提升性能。

提出的方法

• RIN模型采用循环多层结构，交替更新共享特征与任务特定特征，实现表示的迭代优化。
• 在每一层交互中，共享特征通过实体识别和关系分类的特征共同更新，实现双向信息流动。
• 模型将词性标注（POS）和预训练的GloVe词嵌入作为输入特征，并引入残差连接以稳定训练过程。
• 任务特定特征通过门控机制进行优化，根据跨任务反馈选择性地更新。
• 该架构被设计为图结构化的多任务学习框架，信息在多个层级上动态地在实体识别（ER）与关系分类（RC）头之间流动。
• 模型通过两个任务的交叉熵损失进行端到端训练，联合优化以增强特征判别能力。

实验结果

研究问题

• RQ1 动态、迭代的实体识别与关系分类任务间交互是否能超越静态共享表示，实现性能提升？
• RQ2 显式建模跨任务依赖关系是否能带来更优的特征学习与分类准确率？
• RQ3 在重叠关系事实上的F1分数与鲁棒性方面，所提出的RIN模型相较于传统MTL与流水线方法表现如何？
• RQ4 各组件（如交互机制、POS特征）对整体性能的贡献分别是什么？

主要发现

• RIN模型在NYT数据集上达到84.7的新SOTA F1分数，在WebNLG数据集上达到77.0的F1分数（采用精确匹配评估）。
• 消融实验表明，移除交互机制（RIN w/o interaction）导致性能下降最大，证实其在捕捉复杂任务相关性中的关键作用。
• 当实体识别模块可访问关系分类反馈时（RIN w/o ER），模型性能更优，表明RC为ER提供了有价值的上下文信息。
• 移除POS标签的消融实验（RIN w/o POS）仅导致性能轻微下降，表明POS特征并非模型成功的关键因素。
• 案例研究显示，RIN能正确识别重叠的关系事实，并通过跨任务反馈纠正实体误判，而无交互机制的模型则无法做到。
• RIN模型通过迭代优化有效学习到具有判别力的特征，这对联合抽取任务中的高精度分类至关重要。