[论文解读] Temporal Relation Extraction with a Graph-Based Deep Biaffine Attention Model

Bo-Ying Su, Shang-Ling Hsu+2 more|arXiv (Cornell University)|Jan 16, 2022

Topic Modeling被引用 4

一句话总结

该论文提出了一种基于图的深度双线性注意力模型，以端到端方式联合预测事件弧和时间关系标签，无需事先进行事件注释。通过使用独立的双线性模块解耦弧预测与关系预测，该模型在基准数据集上实现了最先进（SOTA）的F1分数，同时通过完全可并行计算将推理速度提升了39%。

ABSTRACT

Temporal information extraction plays a critical role in natural language understanding. Previous systems have incorporated advanced neural language models and have successfully enhanced the accuracy of temporal information extraction tasks. However, these systems have two major shortcomings. First, they fail to make use of the two-sided nature of temporal relations in prediction. Second, they involve non-parallelizable pipelines in inference process that bring little performance gain. To this end, we propose a novel temporal information extraction model based on deep biaffine attention to extract temporal relationships between events in unstructured text efficiently and accurately. Our model is performant because we perform relation extraction tasks directly instead of considering event annotation as a prerequisite of relation extraction. Moreover, our architecture uses Multilayer Perceptrons (MLP) with biaffine attention to predict arcs and relation labels separately, improving relation detecting accuracy by exploiting the two-sided nature of temporal relationships. We experimentally demonstrate that our model achieves state-of-the-art performance in temporal relation extraction.

研究动机与目标

• 解决现有两阶段时间关系抽取流水线效率低下和准确率受限的问题。
• 通过更有效地建模时间关系的双向特性来提升性能。
• 在推理过程中消除对先前事件注释的依赖，实现真正的端到端关系抽取。
• 通过可并行化的架构加速推理，避免关系预测中的嵌套循环。
• 证明将弧预测与关系分类分离有助于提升对模糊关系（NONE/VAGUE）的检测能力。

提出的方法

• 使用微调后的BERT模型获取上下文词元嵌入。
• 采用双向LSTM编码输入序列的上下文表示。
• 部署两个独立的双线性注意力模块：一个用于预测弧（关系是否存在），另一个用于预测关系标签。
• 集成一个轻量级解码器，将得分最高的弧和关系预测结果结合，构建最终的时间关系图。
• 通过在弧预测头和关系预测头联合使用交叉熵损失，采用多任务学习优化模型。
• 通过解耦弧与关系预测，实现完全可并行化的推理，避免对事件对进行顺序枚举。

实验结果

研究问题

• RQ1 统一的端到端模型是否能在推理过程中不依赖真实事件跨度的情况下，超越两阶段方法在时间关系抽取上的表现？
• RQ2 将弧预测（关系是否存在）与关系标签分类分离，是否能提升性能，尤其是对NONE和VAGUE关系的识别？
• RQ3 双线性注意力机制是否能通过利用时间关系的双向特性来提升关系检测的准确性？
• RQ4 可并行化架构在不损失F1分数的前提下，能在多大程度上减少推理时间？
• RQ5 在准确率和计算效率方面，该模型与最先进基线相比表现如何？

主要发现

• 该模型在TB-Dense数据集上实现了50.9的SOTA F1分数，优于先前的SOTA基线。
• 在TB-Dense数据集上，推理速度达到每秒452个句子，相比先前方法提升了39%。
• 消融实验表明，若移除专用的ARC模块，F1分数最高下降1.5分，尤其显著影响VAGUE关系的检测。
• 双线性注意力机制相比标准线性层性能略有提升，且平均运行速度更快。
• 即使在禁用ARC模块的情况下，该模型仍能保持较高的准确率，但在VAGUE关系上的性能显著下降，证明了专用弧预测的价值。
• 所提出的架构实现了完全可并行化的解码，消除了先前系统中非并行化的嵌套循环。