[论文解读] Supervised Neural Models Revitalize the Open Relation Extraction.

Shengbin Jia, E Shijia+1 more|arXiv (Cornell University)|Sep 25, 2018

Natural Language Processing Techniques被引用 9

一句话总结

本文通过将开放关系抽取（ORE）建模为序列标注任务，并利用大规模自动标注数据集，提出了一种监督神经序列标注模型。通过结合BiLSTM、CNN和CRF以及词嵌入和词性（POS）嵌入，该模型捕捉了上下文、空间和全局序列信息，在多个基准测试中优于大多数基于模式和神经网络的ORE方法。

ABSTRACT

Open relation extraction (ORE) remains a challenge to obtain a semantic representation by discovering arbitrary relation tuples from the un-structured text. However, perhaps due to limited data, previous extractors use unsupervised or semi-supervised methods based on pattern matching, which heavily depend on manual work or syntactic parsers and are inefficient or error-cascading. Their development has encountered bottlenecks. Although a few people try to use neural network based models to improve the ORE task performance recently, it is always intractable for ORE to produce supervised systems based on various neural architectures. We analyze and review the neural ORE methods. Further, we construct a large-scale automatically tagging training set and design a tagging scheme to frame ORE as a supervised sequence tagging task. A hybrid neural sequence tagging model (NST) is proposed which combines BiLSTM, CNN and CRF to capture the contextual temporal information, local spatial information, and sentence level tag information of the sequence by using the word and part-of-speech embeddings. Experiments on multiple datasets show that our method is better than most of the existing pattern-based methods and other neural networks based models.

研究动机与目标

• 克服依赖人工模式或句法解析器的无监督和半监督ORE方法的局限性。
• 解决现有基于模式的ORE系统中存在的效率低下和错误传播问题。
• 推动监督神经ORE模型的发展，此类模型因缺乏大规模标注数据而难以实现。
• 构建一个大规模、自动标注的训练数据集，适用于ORE中的监督学习。
• 设计一种混合神经架构，有效捕捉上下文、局部和全局序列信息，以提升关系抽取性能。

提出的方法

• 使用一种新颖的标注方案构建大规模自动标注的训练数据集，将ORE建模为监督序列标注任务。
• 设计一种结合BiLSTM、CNN和CRF的混合神经序列标注模型（NST），以联合学习上下文、局部和全局序列表征。
• 利用词嵌入和词性（POS）嵌入作为输入特征，丰富序列表征。
• 采用BiLSTM建模输入文本中的长距离依赖关系和序列上下文。
• 应用CNN从词嵌入和POS嵌入序列中提取局部n-gram级别特征。
• 在顶部集成CRF层，以建模标签依赖关系并确保全局一致的序列标注。

实验结果

研究问题

• RQ1 大规模自动标注数据集能否实现开放关系抽取的有效监督训练？
• RQ2 结合BiLSTM、CNN和CRF的混合神经序列标注模型能否优于现有的基于模式和神经网络的ORE方法？
• RQ3 在监督序列标注框架中，词嵌入和POS嵌入在多大程度上提升了关系抽取性能？
• RQ4 上下文、局部和全局建模组件的整合是否能提升ORE任务中的泛化能力？

主要发现

• 所提出的监督神经序列标注模型在性能上优于大多数现有的基于模式的ORE方法。
• 该模型在多个基准数据集上优于其他基于神经网络的ORE方法。
• BiLSTM、CNN和CRF组件的整合通过捕捉多样化的序列信息，提升了抽取准确率。
• 使用自动生成的训练数据减少了对人工标注和句法解析器的依赖。
• 词嵌入与POS嵌入的结合增强了模型在不同上下文中区分关系三元组的能力。
• 序列标注框架支持端到端训练，避免了流水线方法中常见的错误传播问题。