[论文解读] Towards Effective Multi-Task Interaction for Entity-Relation Extraction: A Unified Framework with Selection Recurrent Network

Xu An Wang, Ao Liu+2 more|arXiv (Cornell University)|Feb 15, 2022

Topic Modeling被引用 4

一句话总结

该论文提出了一种统一级联框架，将实体-关系抽取重新表述为三项跨度抽取任务——实体抽取、主语抽取和面向主语的对象抽取，以消除命名实体识别（NER）与关系抽取（RE）之间的形式差距。该框架引入了选择循环网络（SRN）以实现隐式的多任务交互，并设计了两种信息流融合策略（早融合与晚融合），在ACE05和SciERC数据集上实现了最先进性能，NER与RE之间表现出显著的相互增益。

ABSTRACT

Entity-relation extraction aims to jointly solve named entity recognition (NER) and relation extraction (RE). Recent approaches use either one-way sequential information propagation in a pipeline manner or two-way implicit interaction with a shared encoder. However, they still suffer from poor information interaction due to the gap between the different task forms of NER and RE, raising a controversial question whether RE is really beneficial to NER. Motivated by this, we propose a novel and unified cascade framework that combines the advantages of both sequential information propagation and implicit interaction. Meanwhile, it eliminates the gap between the two tasks by reformulating entity-relation extraction as unified span-extraction tasks. Specifically, we propose a selection recurrent network as a shared encoder to encode task-specific independent and shared representations and design two sequential information propagation strategies to realize the sequential information flow between NER and RE. Extensive experiments demonstrate that our approaches can achieve state-of-the-art results on two common benchmarks, ACE05 and SciERC, and effectively model the multi-task interaction, which realizes significant mutual benefits of NER and RE.

研究动机与目标

• 解决现有联合模型中由于任务形式不匹配和表示冲突，导致NER与关系抽取（RE）之间互益有限的问题。
• 克服流水线方法忽略跨任务交互且在未见三元组实体上表现不佳的局限性。
• 缓解共享编码器中隐式交互导致的NER性能下降，尤其针对未见三元组实体。
• 设计一种统一框架，实现NER与RE之间既存在隐式交互，又具备显式顺序信息流。
• 通过有效建模多任务交互，同时保留任务特异性和共享表示，实现最先进性能。

提出的方法

• 将实体-关系抽取重新表述为多轮跨度抽取任务：实体抽取、主语抽取和面向主语的对象抽取。
• 使用基于BERT的嵌入器和共享的选择循环网络（SRN）编码器，生成包含任务特异性独立特征与共享特征的标记表示。
• 设计两种顺序信息传播策略：早融合（在输入中插入实体和主语标记）与晚融合（重用编码表示，并将先验信息作为嵌入注入）。
• 在SRN中设计选择机制，动态关注共享表示中的任务特异性与共享组件，降低干扰。
• 使用统一标签空间，端到端联合优化所有三项任务进行训练。
• 采用晚融合策略通过重用编码表示提升推理速度，相比早融合显著降低计算成本。

实验结果

研究问题

• RQ1 是否可通过将NER与RE统一为跨度抽取任务的框架，减少任务形式差距并改善多任务交互？
• RQ2 从NER到RE的显式顺序信息流是否能提升性能，尤其对未见三元组实体？
• RQ3 选择循环网络是否能有效分离任务特异性和共享表示，以最小化联合学习中的干扰？
• RQ4 早融合与晚融合策略的选择如何影响性能与推理效率？
• RQ5 NER与RE的联合训练在多大程度上实现相互提升，特别是在具有挑战性的未见三元组实体上？

主要发现

• 所提框架在ACE05和SciERC上均达到最先进性能，NER与RE的F1分数均优于先前SOTA模型。
• 早融合策略性能更高（NER 69.2 F1，RE 38.7 F1），但速度较慢（9.04 句子/秒）；晚融合策略实现32.7倍加速（295.04 句子/秒），性能仅轻微下降。
• 在未见三元组实体上，采用早融合的模型在SciERC上比PFN高出3.8%，在ACE05上高出1.0%，表明对未参与关系的实体具有更优处理能力。
• 消融实验表明，若移除从NER到RE的一条顺序信息流，NER F1下降3.0%，RE F1下降3.1%，证明了顺序传播的有效性。
• 与独立训练相比，联合训练显著提升了NER性能，表明RE能为NER提供有意义的监督信号。
• 使用所有黄金实体作为候选主语（而非仅真实主语）可使RE F1提升5%，有效缓解了对象模块中的暴露偏差。