[论文解读] Multiple Range-Restricted Bidirectional Gated Recurrent Units with Attention for Relation Classification

Jonggu Kim, Jong-Hyeok Lee|arXiv (Cornell University)|Jul 5, 2017

Topic Modeling参考文献 15被引用 3

一句话总结

该论文提出了一种基于RNN的新模型，采用多种范围受限的双向门控循环单元（GRUs）并结合注意力机制进行关系分类，仅关注句子中的名词短语和关系跨度。该模型不依赖外部语言学特征，在SemEval-2010数据集上达到了84.3%的F1分数，与当前最先进性能持平。

ABSTRACT

Most of neural approaches to relation classification have focused on finding short patterns that represent the semantic relation using Convolutional Neural Networks (CNNs) and those approaches have generally achieved better performances than using Recurrent Neural Networks (RNNs). In a similar intuition to the CNN models, we propose a novel RNN-based model that strongly focuses on only important parts of a sentence using multiple range-restricted bidirectional layers and attention for relation classification. Experimental results on the SemEval-2010 relation classification task show that our model is comparable to the state-of-the-art CNN-based and RNN-based models that use additional linguistic information.

研究动机与目标

• 通过RNN在不依赖人工设计的语言学特征的情况下提升关系分类性能。
• 探究将GRU层限制在特定句子跨度（名词和关系）是否能增强特征抽象能力。
• 评估注意力机制在聚焦句子中与关系相关跨度方面的有效性。
• 比较在范围受限条件下，仅提取名词、仅提取关系或同时提取两者的模型性能。

提出的方法

• 使用预训练的100维词嵌入作为输入，表示句子中的每个词。
• 对三个独立的双向GRU层施加范围限制：一个用于第一个名词（e1），一个用于第二个名词（e2），一个用于两者之间的关系跨度。
• 采用掩码技术强制实施范围限制，确保每个GRU仅处理其指定的跨度，从而提升对相关句法和语义模式的关注。
• 将注意力机制应用于三个GRU的最终隐藏状态，根据其对关系类别的相关性动态加权其贡献。
• 通过拼接三个GRU层的注意力输出，形成最终的句子表示。
• 使用带有softmax的前馈层，结合排名损失函数，优化边际分类，计算最终的关系类别得分。

实验结果

研究问题

• RQ1 基于RNN的模型是否能在不使用POS标签或依存路径等外部语言学特征的情况下，实现具有竞争力的关系分类性能？
• RQ2 将GRU层限制在特定跨度（名词和关系）是否能提升特征抽象能力和分类准确率？
• RQ3 与标准双向GRUs相比，范围限制与注意力机制的结合如何影响模型性能？
• RQ4 名词跨度与关系跨度在预测正确关系类别中的相对贡献如何？

主要发现

• 所提出的模型仅使用预训练词嵌入且不附加任何语言学特征，在SemEval-2010测试集上达到了84.3%的F1分数。
• 当未施加范围限制时，该模型优于标准的注意力机制双向GRU（att-BGRU），表明特定跨度建模具有优势。
• 同时抽象两个名词和关系跨度的模型取得了最高性能（84.3%），表明三者信息具有互补性。
• 消融实验表明，仅将GRU限制在关系跨度时F1分数降低至82.9%，低于完整模型，表明名词特征对性能至关重要。
• 该模型性能与使用POS标签、WordNet及最短依存路径等额外语言资源的当前最先进CNN和RNN模型相当。