[论文解读] Relation of the Relations: A New Paradigm of the Relation Extraction Problem

Zhijing Jin, Yongyi Yang+2 more|arXiv (Cornell University)|Jun 5, 2020

Topic Modeling参考文献 32被引用 12

一句话总结

该论文提出了一种关系抽取的新范式，通过图神经网络（GNN）和矩阵变换器联合建模文本中的所有关系，捕捉‘关系之间的关系’（RoR）现象。该方法在ACE05上比SOTA模型提升+1.12%，在SemEval 2018 Task 7.2上提升+2.55%，显著提升了多关系泛化能力和条件概率学习效果。

ABSTRACT

In natural language, often multiple entities appear in the same text. However, most previous works in Relation Extraction (RE) limit the scope to identifying the relation between two entities at a time. Such an approach induces a quadratic computation time, and also overlooks the interdependency between multiple relations, namely the relation of relations (RoR). Due to the significance of RoR in existing datasets, we propose a new paradigm of RE that considers as a whole the predictions of all relations in the same context. Accordingly, we develop a data-driven approach that does not require hand-crafted rules but learns by itself the RoR, using Graph Neural Networks and a relation matrix transformer. Experiments show that our model outperforms the state-of-the-art approaches by +1.12\% on the ACE05 dataset and +2.55\% on SemEval 2018 Task 7.2, which is a substantial improvement on the two competitive benchmarks.

研究动机与目标

• 为解决传统关系抽取中效率低下且忽略关系间相互依赖的问题，后者将每对实体独立处理。
• 识别并利用‘关系之间的关系’（RoR）现象，即单个文本中多个关系相互影响。
• 开发一种数据驱动、无需规则的方法，在统一框架中捕捉成对关系与多关系依赖。
• 提升在复杂多关系文本中的性能，尤其针对涉及三个或以上关系的实体。

提出的方法

• 该模型将关系抽取建模为矩阵预测任务，将文本中所有实体对表示为关系矩阵 R ∈ ℝ^{M×M}。
• 使用图神经网络（GNN）通过将每个关系视为图中的一个节点，来建模关系之间的成对依赖。
• 应用矩阵变换器以捕捉关系之间的高阶相关性与数值模式，如关系计数和共现结构。
• 模型在单次前向传播中联合预测所有关系，实现对相互依赖关系的端到端学习，无需对每对关系独立分类。
• 该框架不依赖手工设计的规则或启发式方法，而是直接从数据中学习RoR模式。
• 该架构在标准基准上进行端到端训练，注意力机制使关系依赖的动态加权成为可能。

实验结果

研究问题

• RQ1 联合建模文本中所有关系相较于独立成对分类，如何提升关系抽取性能？
• RQ2 模型在给定同一上下文中其他已观测关系的条件下，能在多大程度上学习关系的条件概率分布？
• RQ3 基于GNN的方法能否在多关系设置中有效捕捉成对关系依赖？
• RQ4 矩阵变换器组件如何增强对局部成对关系之外的全局关系模式的建模？
• RQ5 该新范式是否在高关系复杂度的挑战性子集上带来可测量的性能提升？

主要发现

• 该模型在ACE05完整测试集上达到63.55%的F1分数，与报告的SOTA结果64.26%非常接近。
• 在涉及三个或以上关系的实体的更具挑战性子集上，该模型达到56.63%的F1分数，比OnePass高出3.81个百分点。
• 与OnePass相比，该模型将Jensen-Shannon（JS）散度降低60%，表明其在学习关系依赖方面表现更优。
• 该模型在ACE05上比SOTA提升+1.12%，在SemEval 2018 Task 7.2上提升+2.55%，在竞争性基准上实现显著增益。
• 消融实验确认，GNN和矩阵变换器组件均对性能有显著贡献，尤其在复杂关系情境下。
• 该模型在高复杂度样本上泛化能力更强，表明RoR建模在多个关系共现时尤为有益。