[论文解读] SEE: Syntax-aware Entity Embedding for Neural Relation Extraction

Zhengqiu He, Wenliang Chen+4 more|arXiv (Cornell University)|Jan 11, 2018

Topic Modeling参考文献 24被引用 21

一句话总结

本文提出语法感知实体嵌入（SEE），一种神经关系抽取模型，通过树-GRU和注意力机制利用依存树结构增强实体表示。通过在句法上下文中整合句内与句间注意力机制，SEE在基准数据集上实现了最先进性能，优于先前方法，在处理远程监督噪声和捕捉关系语义方面表现更优。

ABSTRACT

Distant supervised relation extraction is an efficient approach to scale relation extraction to very large corpora, and has been widely used to find novel relational facts from plain text. Recent studies on neural relation extraction have shown great progress on this task via modeling the sentences in low-dimensional spaces, but seldom considered syntax information to model the entities. In this paper, we propose to learn syntax-aware entity embedding for neural relation extraction. First, we encode the context of entities on a dependency tree as sentence-level entity embedding based on tree-GRU. Then, we utilize both intra-sentence and inter-sentence attentions to obtain sentence set-level entity embedding over all sentences containing the focus entity pair. Finally, we combine both sentence embedding and entity embedding for relation classification. We conduct experiments on a widely used real-world dataset and the experimental results show that our model can make full use of all informative instances and achieve state-of-the-art performance of relation extraction.

研究动机与目标

• 为解决现有神经关系抽取模型在实体表示中未能充分利用句法结构的局限性。
• 通过从依存树中获取句法上下文来丰富实体嵌入，以减少远程监督带来的噪声。
• 通过多级注意力机制结合句子级嵌入与语法感知实体嵌入，提升关系分类性能。
• 证明句子中实体的句法角色在关系抽取中携带超越词序列的有意义信息。

提出的方法

• 使用树-GRU递归编码依存树上每个实体的句法上下文，生成句子级实体嵌入。
• 在句法树的子节点上应用句内注意力机制，突出显示实体周围的有用句法子结构。
• 在包含相同实体对的多条句子之间应用句间注意力机制，选择最相关的上下文表示。
• 使用Softmax层将句子嵌入与语法感知实体嵌入结合，进行最终的关系分类。
• 利用多实例学习缓解远程监督中固有的标签噪声。
• 整合局部句法结构与全局句子级上下文，以提升模型的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 能否从依存树中提取的语法感知实体嵌入在远程监督下提升神经关系抽取性能？
• RQ2 通过树结构模型引入实体句法角色，对关系分类性能有何影响？
• RQ3 句内与句间注意力机制在多大程度上能增强关系抽取中实体上下文的表示？
• RQ4 通过句法结构丰富实体嵌入，能否降低远程监督中噪声标签的影响？
• RQ5 所提出方法能否在真实世界的关系抽取基准测试中超越现有最先进模型？

主要发现

• 所提出的SEE模型在广泛使用的神经关系抽取基准数据集上实现了最先进性能。
• 该模型显著降低了错误的NA（无关系）预测概率，例如在案例研究中，将基线模型的0.735降低至更低值。
• 引入语法感知实体嵌入可更准确地进行关系分类，通过捕捉最短依存路径之外的长距离句法依赖。
• 同时使用句内与句间注意力机制可提升模型在多样化句法结构中的鲁棒性与泛化能力。
• 该模型在基线模型和先前最先进方法上均表现出一致改进，尤其在处理模糊或噪声训练样本时表现更优。