[论文解读] Three Sentences Are All You Need: Local Path Enhanced Document Relation Extraction

Quzhe Huang, Shengqi Zhu+4 more|arXiv (Cornell University)|Jun 3, 2021

Topic Modeling参考文献 14被引用 5

一句话总结

本文提出了一种简单而有效的方法，用于文档级关系抽取：通过启发式选择最多三句话——连续路径、多跳路径或默认路径——形成连接实体对的局部证据路径。通过仅关注这些最小化且可解释的路径，并将其输入双向LSTM模型，该方法在DocRED数据集上实现了最先进性能，优于复杂的图神经网络模型，表明显式的人类启发式证据选择可超越图神经网络中的隐式过滤机制。

ABSTRACT

Document-level Relation Extraction (RE) is a more challenging task than sentence RE as it often requires reasoning over multiple sentences. Yet, human annotators usually use a small number of sentences to identify the relationship between a given entity pair. In this paper, we present an embarrassingly simple but effective method to heuristically select evidence sentences for document-level RE, which can be easily combined with BiLSTM to achieve good performance on benchmark datasets, even better than fancy graph neural network based methods. We have released our code at https://github.com/AndrewZhe/Three-Sentences-Are-All-You-Need.

研究动机与目标

• 探究在文档级关系抽取中，人类标注者是否仅需少量句子即可确定实体对之间的关系。
• 解决使用整篇文档效率低下的问题，识别出支持关系推理的最小相关句子子集。
• 设计一种启发式、可解释的路径选择机制，以近似人类标注的支持证据，而无需依赖复杂模型。
• 评估仅输入所选路径的简单BiLSTM模型，是否能在性能上超越更复杂的基于图的方法。

提出的方法

• 该方法定义了三条启发式规则以提取局部证据路径：连续路径（实体位于三句以内连续句子中）、多跳路径（通过非相邻句子中的桥接实体连接的实体对）以及默认路径（当其他规则不适用时，包含头实体和尾实体的所有句子对）。
• 所选路径作为输入送入使用GloVe-100词嵌入和256隐藏层大小的BiLSTM编码器。
• 对于给定的实体对，通过选择最置信的关系预测来聚合所有路径的预测结果：$ P_{ij}(r) = \max_c P^c_{ij}(r) $。
• 该方法显式过滤无关文档内容，与图神经网络中隐式的注意力或消息传递机制形成对比。
• 在三个基准数据集（DocRED、CDR和GDA）上评估该方法，使用标准F1分数衡量句内和句间关系。
• 模型端到端进行训练与评估，并与基于序列和基于图的最先进模型进行性能比较。

实验结果

研究问题

• RQ1 在文档级关系抽取中，人类标注者通常需要多少句话才能识别两个实体之间的关系？
• RQ2 一种简单且可解释的路径选择启发式方法，能否有效近似人类标注的支持证据？
• RQ3 显式选择少量相关句子是否能提升性能，相较于使用整篇文档，尤其是在结合轻量级模型（如BiLSTM）时？
• RQ4 当仅输入所选路径时，BiLSTM模型是否能超越那些隐式过滤信息的复杂图神经网络模型？
• RQ5 哪些语言学或认知因素可能解释为何在自然语言文档中仅需少数句子即可完成关系推理？

主要发现

• 在DocRED数据集中，超过95%的关系实例仅需不超过三句支持句子，其中87%仅需两句话或更少。
• 所提出的启发式路径选择方法覆盖了高达87.5%的人类标注支持证据，表明其与人类标注模式高度一致。
• 仅使用所选路径的BiLSTM模型在测试集上达到56.23%的F1分数，优于基线BiLSTM和最先进基于图的模型。
• 与基线BiLSTM相比，该方法在开发集上使句内关系F1提升5.68%，句间关系F1提升5.62%。
• 在相同设置下，与最先进基于图的模型相比，该方法在开发集和测试集上的F1分别高出1.25%和1.15%。
• 结果表明，显式、基于规则的证据选择可优于复杂模型中的隐式过滤机制，凸显了可解释性与最小上下文在文档级关系抽取中的价值。