[论文解读] Reasoning with Latent Structure Refinement for Document-Level Relation Extraction

Guoshun Nan, Zhijiang Guo+2 more|arXiv (Cornell University)|May 13, 2020

Topic Modeling参考文献 63被引用 28

一句话总结

该论文提出了一种用于文档级关系抽取的潜在结构精炼（LSR）模型，通过端到端方式动态学习任务特定的文档级图结构，并利用迭代精炼提升多跳推理能力。该模型在DocRED数据集上取得了59.05的F1分数，达到新SOTA性能，并在CDR和GDA数据集上也取得新SOTA结果，通过学习到的潜在结构有效捕捉了非局部依赖关系。

ABSTRACT

Document-level relation extraction requires integrating information within and across multiple sentences of a document and capturing complex interactions between inter-sentence entities. However, effective aggregation of relevant information in the document remains a challenging research question. Existing approaches construct static document-level graphs based on syntactic trees, co-references or heuristics from the unstructured text to model the dependencies. Unlike previous methods that may not be able to capture rich non-local interactions for inference, we propose a novel model that empowers the relational reasoning across sentences by automatically inducing the latent document-level graph. We further develop a refinement strategy, which enables the model to incrementally aggregate relevant information for multi-hop reasoning. Specifically, our model achieves an F1 score of 59.05 on a large-scale document-level dataset (DocRED), significantly improving over the previous results, and also yields new state-of-the-art results on the CDR and GDA dataset. Furthermore, extensive analyses show that the model is able to discover more accurate inter-sentence relations.

研究动机与目标

• 为解决文档级关系抽取中跨多个句子的信息整合问题，其中需要复杂的多跳推理。
• 克服现有方法依赖静态、基于规则或启发式构建的文档级图结构的局限性，这些结构可能无法捕捉最优的结构依赖关系。
• 实现对文档级图结构的动态、端到端学习，以反映实体之间的非局部交互关系，从而提升关系推理能力。
• 通过在推理过程中迭代精炼潜在结构，增强文档中长距离依赖关系的信息聚合能力。

提出的方法

• 模型使用节点构建器通过平均池化操作生成提及、元依赖路径和实体节点的上下文表示。
• 采用结构化注意力机制，并结合矩阵树定理的变体，将任务特定的依赖结构作为潜在变量进行诱导。
• 采用迭代精炼策略，在多个推理步骤中动态更新潜在图结构，实现信息的逐步聚合。
• 动态推理器在诱导的图结构上执行消息传递，实现跨实体和句子的表示传播。
• 分类器头基于动态推理器输出的精炼表示，预测实体对之间的关系。
• 整个模型通过可微分的目标函数进行端到端训练，以优化关系预测的准确率。

实验结果

研究问题

• RQ1 潜在的、端到端学习的文档级图结构是否能在文档级关系抽取中超越静态的、启发式构建的图结构？
• RQ2 对潜在图结构进行迭代精炼是否能提升长距离依赖关系上的多跳推理性能？
• RQ3 该模型是否能在不依赖外部解析器或共指消解的情况下，发现更准确的跨句关系？
• RQ4 与现有的基于GNN或基于规则的方法相比，该模型在诱导非局部依赖关系方面表现如何？

主要发现

• LSR模型在大规模的DocRED数据集上取得了59.05的F1分数，显著优于之前的SOTA方法。
• 该模型在CDR和GDA数据集上也取得了新的SOTA结果，证明了其在生物医学文档级关系抽取基准上的强大泛化能力。
• 定性分析表明，LSR能够成功推断出需要多跳推理的缺失关系，例如通过中间实体识别出Yulia Tymoshenko是乌克兰人。
• 注意力可视化显示，与AGGCN相比，LSR学习到了更聚焦、更具信息量的注意力模式，而AGGCN则表现出更均衡但缺乏区分度的注意力分数。
• 该模型在抑制错误关系方面表现更优，例如成功避免了<New Ireland, World War II>这对实体的误报。
• 消融实验表明，迭代精炼机制对性能提升有显著贡献，尤其在复杂推理场景下更为明显。