[论文解读] SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction

Yuxin Xiao, Zecheng Zhang+3 more|arXiv (Cornell University)|Sep 24, 2021

Topic Modeling被引用 11

一句话总结

该论文提出SAIS方法，通过显式监督和增强中间推理步骤——共指消解、实体类型识别和细粒度证据检索——来提升文档级关系抽取性能，在DocRED、CDR和GDA三个基准上达到最先进水平，相较于第二名在DocRED上的证据检索F1值相对提升5.04%。

ABSTRACT

Stepping from sentence-level to document-level, the research on relation extraction (RE) confronts increasing text length and more complicated entity interactions. Consequently, it is more challenging to encode the key information sources--relevant contexts and entity types. However, existing methods only implicitly learn to model these critical information sources while being trained for RE. As a result, they suffer the problems of ineffective supervision and uninterpretable model predictions. In contrast, we propose to explicitly teach the model to capture relevant contexts and entity types by supervising and augmenting intermediate steps (SAIS) for RE. Based on a broad spectrum of carefully designed tasks, our proposed SAIS method not only extracts relations of better quality due to more effective supervision, but also retrieves the corresponding supporting evidence more accurately so as to enhance interpretability. By assessing model uncertainty, SAIS further boosts the performance via evidence-based data augmentation and ensemble inference while reducing the computational cost. Eventually, SAIS delivers state-of-the-art RE results on three benchmarks (DocRED, CDR, and GDA) and outperforms the runner-up by 5.04% relatively in F1 score in evidence retrieval on DocRED.

研究动机与目标

• 为解决文档级关系抽取中隐式监督的局限性，即模型无法有效捕捉文本上下文和实体类型信息。
• 通过显式检索每条关系的支持证据，而非将证据视为共享集合，从而提升模型可解释性。
• 通过整合共指消解、实体类型识别和证据检索作为辅助任务的多任务学习，提升关系抽取质量。
• 通过仅在模型不确定性较高时应用基于证据的数据增强和集成推理，降低计算成本的同时提升性能。
• 在三个基准测试（DocRED、CDR和GDA）上展示最先进结果，关系抽取和证据检索方面均有可测量的性能提升。

提出的方法

• SAIS引入四项互补的中间任务：共指消解（CR）、实体类型识别（ET）、聚合证据检索（PER）和细粒度证据检索（FER），每项任务旨在捕捉不同的信息源。
• 模型联合训练关系抽取与这四项辅助任务，从而对文本上下文（通过CR、PER、FER）和实体类型信息（通过ET）实现显式监督。
• 仅在模型置信度较低时应用基于证据的数据增强：根据预测的证据生成伪文档和注意力掩码，以提升鲁棒性。
• 选择性使用集成推理：仅当不确定性得分超过阈值时才组合预测结果，从而保持计算效率。
• 该方法采用基于BERT的架构，并在任务间共享表示，通过多任务学习优化关系抽取和证据检索。
• 消融研究证实每一项中间任务均不可或缺，其中FER在可解释性方面表现尤为突出，能为每条关系分配独立证据。

实验结果

研究问题

• RQ1 显式监督中间推理步骤（如共指消解和实体类型识别）是否能提升文档级关系抽取的质量？
• RQ2 细粒度证据检索（FER），即为每条关系分配独立证据，是否比聚合证据检索（PER）带来更可解释且更准确的预测？
• RQ3 仅在模型不确定性下应用的基于证据的数据增强，是否能在不显著增加计算成本的前提下提升性能？
• RQ4 文本上下文和实体类型信息如何协同作用以提升关系抽取？其影响是否可解耦并量化测量？
• RQ5 与标准端到端训练相比，通过CR、ET、PER和FER的多任务学习在文档级关系抽取中表现如何？

主要发现

• SAIS在三个基准测试（DocRED、CDR和GDA）上均达到最先进性能，论文报告的F1分数最高。
• 在DocRED基准上，SAIS相较于第二名方法，证据检索F1值相对提升5.04%，展现出更优的可解释性。
• 消融研究显示，移除任意一项中间任务（CR、ET、PER、FER）均导致F1下降，证实其互补作用。
• 仅使用实体类型（SAIS_RE+ET）的变体因类型分类错误而错误预测‘citizenship’，而完整SAIS模型通过结合上下文与类型信息，正确识别出‘country_of_origin’。
• 案例研究显示，FER通过为每条关系分配独立证据集，在证据检索中优于PER，尤其在避免将不同句子中的冲突证据合并方面表现更优。
• 基于证据的数据增强和不确定性感知的集成推理在BERT-base上的消融实验中，以可忽略的计算成本显著提升性能。