[论文解读] Structure Regularized Bidirectional Recurrent Convolutional Neural Network for Relation Classification

Wen Ji|arXiv (Cornell University)|Nov 6, 2017

Topic Modeling参考文献 13被引用 6

一句话总结

本文提出了一种结构正则化双向循环卷积神经网络（SR-BRCNN）用于关系分类，通过利用依存树结构和结构正则化，在中文Sanwen和SemEval-2010数据集上均提升了性能。该方法通过依存树的介词或随机分解，在最短依存路径（SDP）上增强关系表征学习，相较于基线模型F₁分数提升10.3分。

ABSTRACT

Relation classification is an important semantic processing task in the field of natural language processing (NLP). In this paper, we present a novel model, Structure Regularized Bidirectional Recurrent Convolutional Neural Network(SR-BRCNN), to classify the relation of two entities in a sentence, and the new dataset of Chinese Sanwen for named entity recognition and relation classification. Some state-of-the-art systems concentrate on modeling the shortest dependency path (SDP) between two entities leveraging convolutional or recurrent neural networks. We further explore how to make full use of the dependency relations information in the SDP and how to improve the model by the method of structure regularization. We propose a structure regularized model to learn relation representations along the SDP extracted from the forest formed by the structure regularized dependency tree, which benefits reducing the complexity of the whole model and helps improve the $F_{1}$ score by 10.3. Experimental results show that our method outperforms the state-of-the-art approaches on the Chinese Sanwen task and performs as well on the SemEval-2010 Task 8 dataset\footnote{The Chinese Sanwen corpus this paper developed and used will be released in the further.

研究动机与目标

• 为解决低资源且非逻辑性的中文Sanwen文本在命名实体识别与关系分类中的挑战。
• 通过利用最短依存路径（SDP）中的依存结构信息，提升关系分类性能。
• 探索结构正则化在BRCNN等序列模型中的有效性，以实现更好的泛化能力并降低复杂度。
• 开发一个新的大规模中文Sanwen语料库，以支持未来低资源NLP任务的研究。

提出的方法

• 该模型使用双向循环卷积神经网络（BRCNN）对两个实体之间的最短依存路径（SDP）进行编码。
• 通过使用介词或随机节点删除将依存树分解为子树，实现结构正则化，以降低模型复杂度。
• 通过使用介词短语作为分解点，保留子树内部的一致性，提升结构信息的保留能力。
• 通过在正则化的SDP上结合双向LSTM与CNN层，学习关系表征。
• 实验证明，基于介词的分解方法在保留结构相关性方面优于随机正则化或标点符号切割方法。
• 该框架在新发布的中文Sanwen语料库和SemEval-2010基准数据集上进行端到端训练。

实验结果

研究问题

• RQ1 结构正则化在BRCNN模型中如何提升关系分类性能？
• RQ2 分解依存树的最佳方法是什么，以在降低复杂度的同时保持结构相关性？
• RQ3 介词短语能否作为中文文本中依存树正则化的有效分解点？
• RQ4 所提出的SR-BRCNN模型在低资源且非逻辑性的中文Sanwen文本上与最先进模型相比表现如何？
• RQ5 使用新中文Sanwen语料库在多大程度上提升了模型在关系分类任务中的训练与评估效果？

主要发现

• 所提出的SR-BRCNN模型在中文Sanwen数据集上相较于基线模型F₁分数提升10.3分。
• 基于介词的依存树分解方法在性能上优于随机分解或基于标点符号的切割方法。
• 结构正则化在降低模型复杂度的同时保持或提升性能，证明其在序列建模中的有效性。
• 该模型在SemEval-2010任务8基准上表现具有竞争力，证实其在不同领域间的泛化能力。
• 新构建的中文Sanwen语料库包含726篇文章和13.2 MB文本，填补了大规模、低资源中文NLP数据集的空白。
• 结果验证了通过正则化引入结构信息可有效增强关系表征学习，尤其在复杂且非逻辑的文本（如中文Sanwen）中表现显著。