[论文解读] Tree Recurrent Neural Networks with Application to Language Modeling.

Xingxing Zhang, Liang Lu+1 more|arXiv (Cornell University)|Oct 31, 2015

Natural Language Processing Techniques参考文献 40被引用 16

一句话总结

本文提出 TreeRNN，一种新型循环神经网络，通过预测依存树而非线性序列来建模句子。通过使用共享隐藏状态逐步生成左、右依存成分，TreeRNN 在语言建模任务上的表现优于或与现有模型相当。

ABSTRACT

In this paper we develop a recurrent neural network (TreeRNN), which is designed to predict a tree rather than a linear sequence as is the case in conventional recurrent neural networks. Our model defines the probability of a sentence by estimating the generation probability of its dependency tree. We construct the tree incrementally by generating the left and right dependents of a node whose probability is computed using recurrent neural networks with shared hidden layers. Application of our model to two language modeling tasks shows that it outperforms or performs on par with related models.

研究动机与目标

• 开发一种序列建模框架，通过生成依存树而非线性序列来捕捉句法结构。
• 通过使用共享隐藏状态的递归树生成来建模句子结构，从而改进语言建模。
• 评估树结构生成是否能在语言建模基准上带来更好的性能。
• 探索循环神经网络在自然语言处理中结构化预测的应用。

提出的方法

• TreeRNN 通过逐步生成每个节点的左、右依存成分，增量式地构建句子的依存树。
• 该模型使用共享的循环神经网络和共享的隐藏层来计算每个节点依存成分的概率。
• 生成过程以自底向上、递归的方式进行，从根节点开始并逐步扩展子树。
• 句子的概率通过树结构中节点扩展的条件概率的乘积来计算。
• 该模型利用依存树的层次结构，比线性 RNN 更有效地捕捉长距离依赖关系。

实验结果

研究问题

• RQ1 与线性序列建模相比，通过依存树生成来建模句子是否能提升语言建模性能？
• RQ2 在树结构 RNN 中，跨树节点使用共享隐藏状态是否能增强泛化能力和效率？
• RQ3 在语言建模任务中，TreeRNN 与现有序列建模方法在困惑度上的表现如何比较？
• RQ4 树结构生成在多大程度上能够捕捉自然语言中的句法依赖关系？

主要发现

• 在两个语言建模任务中，TreeRNN 的表现优于或与相关模型相当。
• 通过利用结构化树生成，该模型取得了具有竞争力的困惑度得分。
• 使用共享隐藏层使得树节点之间的参数共享更加高效。
• 通过递归神经网络进行增量式树构建，能够有效建模层次化的句法结构。