[论文解读] Relation Classification via Recurrent Neural Network

Dongxu Zhang, Dong Wang|arXiv (Cornell University)|Aug 5, 2015

Topic Modeling参考文献 23被引用 283

一句话总结

本文提出了一种基于循环神经网络（RNN）的框架，用于句子级别的关系分类，利用双向长短期记忆网络来建模名词对之间的长距离依赖关系。实验表明，由于其在捕捉长文本跨度中顺序性和方向性语义模式方面的优越能力，RNN 模型在长上下文关系上的表现显著优于基于卷积神经网络（CNN）的模型。

ABSTRACT

Deep learning has gained much success in sentence-level relation classification. For example, convolutional neural networks (CNN) have delivered competitive performance without much effort on feature engineering as the conventional pattern-based methods. Thus a lot of works have been produced based on CNN structures. However, a key issue that has not been well addressed by the CNN-based method is the lack of capability to learn temporal features, especially long-distance dependency between nominal pairs. In this paper, we propose a simple framework based on recurrent neural networks (RNN) and compare it with CNN-based model. To show the limitation of popular used SemEval-2010 Task 8 dataset, we introduce another dataset refined from MIMLRE(Angeli et al., 2014). Experiments on two different datasets strongly indicates that the RNN-based model can deliver better performance on relation classification, and it is particularly capable of learning long-distance relation patterns. This makes it suitable for real-world applications where complicated expressions are often involved.

研究动机与目标

• 解决基于 CNN 的模型在关系分类中捕捉长距离依赖关系方面的局限性。
• 提出一种简单而有效的基于 RNN 的框架，用于建模名词对之间的顺序上下文。
• 在 SemEval-2010 任务 8 数据集和改进的 MIML-RE 数据集上，验证 RNN 相较于 CNN 的优越性。
• 通过实证分析 RNN 与 CNN 中的语义累积过程，突出时间建模的优势。
• 证明位置指示符（PI）在编码名词位置方面比位置特征（PF）更有效。

提出的方法

• 使用双向 LSTM 网络对整个句子上下文进行编码，以捕捉目标名词周围的前向和后向依赖关系。
• 对 RNN 的隐藏状态进行最大池化操作，生成固定长度的句子级表示。
• 引入位置指示符（PI）以显式编码两个名词的相对位置，从而提升对方向性关系的建模能力。
• 按词处理输入序列，使模型能够逐步累积长跨度文本中的语义信息。
• 在池化表示之上使用一个简单的前馈层，将最终分类结果映射到预定义的关系类型。
• 使用词嵌入作为输入特征，实现端到端学习，无需人工特征工程。

实验结果

研究问题

• RQ1 基于 RNN 的模型是否能在关系分类中捕捉长距离依赖模式方面优于基于 CNN 的模型？
• RQ2 RNN 模型的顺序处理能力如何影响其在具有长上下文跨度句子上的性能表现？
• RQ3 位置指示符（PI）方法在关系分类中编码名词位置方面是否比位置特征（PF）方法更有效？
• RQ4 像 SemEval-2010 这类基准数据集中上下文长度的分布，在多大程度上限制了对模型能力的公平评估？
• RQ5 在构建句子级表示时，RNN 与 CNN 模型中单个词语的语义贡献有何不同？

主要发现

• 在 SemEval-2010 任务 8 数据集上，基于 RNN 的模型取得了 79.6% 的 F1 分数，显著优于 CNN 基线模型（77.4% F1），尤其在长上下文关系上优势更为明显。
• 在基于 MIML-RE 的改进数据集上，RNN 模型相较于 CNN 显现出显著的性能提升，证实其在处理复杂、长距离模式方面的优越性。
• RNN 模型在词语上的语义贡献分布更平滑，方差更低（0.0017），相比 CNN（0.0025），表明其语义累积更一致。
• 在一句话中，RNN 模型正确识别出 'Instrument-Agency' 关系，而 CNN 模型因无法捕捉 'witch' 与 'magic' 之间的完整上下文而失败。
• 分析结果证实，RNN 在建模方向性和顺序依赖关系方面更具优势，尤其当相关词语在句中相距较远时。
• 实证分析表明，位置指示符（PI）方法在编码名词位置方面比位置特征（PF）方法更具通用性和有效性。