[论文解读] Neural Relation Extraction via Inner-Sentence Noise Reduction and Transfer Learning

Tianyi Liu, Xinsong Zhang+2 more|arXiv (Cornell University)|Aug 21, 2018

Topic Modeling参考文献 23被引用 9

一句话总结

该论文提出了一种新颖的神经关系抽取框架，通过子树解析（STP）减少句内噪声，并利用实体分类的迁移学习增强模型鲁棒性。通过结合STP、基于实体的关注机制和参数迁移学习，模型将精确率/召回率（PR）曲线下方面积从0.35提升至0.39，在NYT和Freebase数据集上优于当前最先进方法。

ABSTRACT

Extracting relations is critical for knowledge base completion and construction in which distant supervised methods are widely used to extract relational facts automatically with the existing knowledge bases. However, the automatically constructed datasets comprise amounts of low-quality sentences containing noisy words, which is neglected by current distant supervised methods resulting in unacceptable precisions. To mitigate this problem, we propose a novel word-level distant supervised approach for relation extraction. We first build Sub-Tree Parse(STP) to remove noisy words that are irrelevant to relations. Then we construct a neural network inputting the sub-tree while applying the entity-wise attention to identify the important semantic features of relational words in each instance. To make our model more robust against noisy words, we initialize our network with a priori knowledge learned from the relevant task of entity classification by transfer learning. We conduct extensive experiments using the corpora of New York Times(NYT) and Freebase. Experiments show that our approach is effective and improves the area of Precision/Recall(PR) from 0.35 to 0.39 over the state-of-the-art work.

研究动机与目标

• 解决远程监督关系抽取数据集中低质量、高噪声句子的问题。
• 减少阻碍关系抽取性能的句子内部词级噪声。
• 通过更优的参数初始化提升模型对噪声训练数据的鲁棒性。
• 利用实体类型分类作为先验知识来源，用于初始化关系抽取模型。
• 在噪声多、非正式的网页爬取句子中实现更高的精确率与召回率。

提出的方法

• 提出子树解析（STP），提取以两个实体最低共同祖先为中心的句法子树，去除无关词汇。
• 应用基于实体的关注机制，突出解析子树中与关系相关语义特征。
• 使用迁移学习，通过实体类型分类任务的预训练权重初始化关系抽取模型。
• 采用双向GRU（BGRU）结合词级注意力机制进行序列编码与关系分类。
• 将STP、基于实体的关注机制与迁移学习整合为端到端神经模型，提升对噪声的鲁棒性。
• 在NYT和Freebase数据集上使用远程监督与自动标注进行模型训练。

实验结果

研究问题

• RQ1 能否通过句法解析有效减少句内噪声，从而提升关系抽取的准确性？
• RQ2 与标准词级注意力相比，基于实体的关注机制是否能增强模型聚焦于关系相关特征的能力？
• RQ3 从实体类型分类进行迁移学习是否能提升关系抽取器在噪声多、质量差的数据集上的鲁棒性？
• RQ4 STP、基于实体的关注机制与迁移学习的集成相比最先进关系抽取方法表现如何？
• RQ5 从相关任务进行参数初始化在多大程度上可减轻噪声训练数据的负面影响？

主要发现

• 所提模型在精确率/召回率（PR）曲线下方面积达到0.392，相比最佳基线模型（PCNN+ATT）提升6.3%（P@100）。
• 与PCNN+ATT相比，P@100提升6.3%，P@200提升7.6%，P@300提升7.7%，在各项评估指标上均表现出一致的性能增益。
• STP与基于实体的关注机制的结合能有效减少句内噪声，相比基线模型性能提升超过5%。
• 迁移学习提升了模型鲁棒性，使PR-AUC相比无迁移学习的模型提高2%（0.383 vs. 0.392）。
• 在召回率为0.25时，模型保持高精确率（高于0.6），表明其在高置信度预测上表现优异。
• STP方法显著缩短了平均句长，NYT-10数据集中99.4%的句子含有噪声，该方法平均每句可去除约12个噪声词。