[论文解读] SIRE: Separate Intra- and Inter-sentential Reasoning for Document-level Relation Extraction

Shuang Zeng, Yuting Wu+1 more|arXiv (Cornell University)|Jun 3, 2021

Topic Modeling参考文献 27被引用 8

一句话总结

SIRE 提出了一种新颖的文档级关系抽取框架，通过使用不同的编码策略分别建模句内和句间关系。它引入了一个基于自注意力机制的逻辑推理模块，能够捕捉所有可能的推理链，在公开基准测试中实现了最先进性能，同时提升了可解释性和对逻辑推理任务的鲁棒性。

ABSTRACT

Document-level relation extraction has attracted much attention in recent years. It is usually formulated as a classification problem that predicts relations for all entity pairs in the document. However, previous works indiscriminately represent intra- and inter-sentential relations in the same way, confounding the different patterns for predicting them. Besides, they create a document graph and use paths between entities on the graph as clues for logical reasoning. However, not all entity pairs can be connected with a path and have the correct logical reasoning paths in their graph. Thus many cases of logical reasoning cannot be covered. This paper proposes an effective architecture, SIRE, to represent intra- and inter-sentential relations in different ways. We design a new and straightforward form of logical reasoning module that can cover more logical reasoning chains. Experiments on the public datasets show SIRE outperforms the previous state-of-the-art methods. Further analysis shows that our predictions are reliable and explainable. Our code is available at https://github.com/DreamInvoker/SIRE.

研究动机与目标

• 为了解决现有模型在处理句内和句间关系时采用相同编码策略的问题，尽管它们的语言模式不同。
• 为了解决基于路径的图方法在实体对缺乏有效路径时导致的推理覆盖缺口问题。
• 设计一种更通用且可解释的推理机制，能够建模文档中所有可能的逻辑推理链。
• 通过选择性证据注意力和推理链建模，提升文档级关系抽取预测的可靠性和可解释性。

提出的方法

• SIRE 使用句子级编码器，通过聚合实体对所有共现句子的表示来建模句内关系。
• 对于句间关系，它结合文档级编码器和提及级图，以建模跨句子的长距离依赖和交互。
• 引入了一个证据选择模块，帮助句间关系聚焦于相关的支持句子，从而提升对事实性上下文的关注。
• 提出了一种新颖的逻辑推理模块，通过在所有关系表示上使用自注意力机制来建模推理链，实现对所有可能逻辑推理的完整覆盖。
• 模型联合优化关系分类与推理任务，注意力机制突出显示关键证据和推理路径。

实验结果

研究问题

• RQ1 将句内与句间关系建模分离是否能提升文档级关系抽取的性能？
• RQ2 一种考虑所有可能推理链的基于自注意力的推理模块，是否优于图结构模型中的基于路径的推理方法？
• RQ3 通过突出显示支持性证据和推理路径，模型能否实现更好的可解释性？
• RQ4 与之前的最先进方法相比，该模型在两跳逻辑推理任务上的表现如何？
• RQ5 逻辑推理模块在整体性能中起到了多大作用，尤其是在复杂推理场景下？

主要发现

• SIRE 在三个公开的文档级关系抽取数据集上实现了最先进性能，优于先前的 SOTA 方法。
• 在 DocRED 开发集上，SIRE-GloVe 的 Infer-F1 得分为 42.72，比之前最佳模型高出 1.89 分。
• 移除逻辑推理模块后，Infer-F1 显著下降（从 42.72 降至 39.18），证实其在推理任务中的关键作用。
• 案例研究显示，SIRE 正确识别出支持性证据句子，并聚焦于正确的逻辑推理链，例如：São Paulo → Brazil → South America。
• 模型的预测具有可解释性，因为注意力机制突出显示了与人类直觉一致的相关词语和证据句子。