[论文解读] Top-down Tree Long Short-Term Memory Networks

Xingxing Zhang, Liang Lu+1 more|arXiv (Cornell University)|Oct 31, 2015

Topic Modeling参考文献 59被引用 11

一句话总结

本文提出 TreeLSTM 和 LdTreeLSTM，这两种神经网络架构通过使用四个专门的 LSTM 单元显式表示左、右依存成分，将 LSTMs 扩展至建模句子中的依存树结构。该模型在 MSR 句子补全基准测试中达到最先进性能，并在依存句法分析重排序任务中表现强劲，同时通过采样实现端到端的树结构生成。

ABSTRACT

Long Short-Term Memory (LSTM) networks, a type of recurrent neural network with a more complex computational unit, have been successfully applied to a variety of sequence modeling tasks. In this paper we develop Tree Long Short-Term Memory (TreeLSTM), a neural network model based on LSTM, which is designed to predict a tree rather than a linear sequence. TreeLSTM defines the probability of a sentence by estimating the generation probability of its dependency tree. At each time step, a node is generated based on the representation of the generated sub-tree. We further enhance the modeling power of TreeLSTM by explicitly representing the correlations between left and right dependents. Application of our model to the MSR sentence completion challenge achieves results beyond the current state of the art. We also report results on dependency parsing reranking achieving competitive performance.

研究动机与目标

• 开发一种神经网络模型，通过估计依存树的生成而非线性序列来预测句子概率。
• 通过专用的 LSTM 单元显式建模句法结构中左、右依存成分之间的相关性。
• 通过从训练好的模型中采样，实现端到端的树结构生成，支持句子简化等应用。
• 通过捕捉长距离依赖关系，克服 n-gram 和前馈模型的局限性，且无需人为限制网络深度。
• 将句法结构直接整合到模型架构中，避免对依存特征进行人工特征工程。

提出的方法

• 该模型使用四个不同的 LSTM 单元来表示四种类型的依存边：左、右、非词素左、非词素右，从而实现结构化的树生成。
• 在每个时间步，激活一个 LSTM 来基于已生成子树的隐藏表示预测下一个词。
• 四个 LSTM 的隐藏状态被共享，以在不同边类型之间保持一致的子树表示。
• 通过基于边类型和词预测的条件概率对依存树生成过程进行因子分解，来估计句子的概率。
• 通过使用四个二分类器（Add-Left、Add-Right、Add-Nx-Left、Add-Nx-Right）在每一步决定添加哪种边类型，实现树的生成。
• 分类器利用前一隐藏状态和当前节点的嵌入向量，预测是否添加新的左或右依存成分，从而实现受控的树生长。

实验结果

研究问题

• RQ1 基于 LSTM 的神经网络架构能否有效建模并生成句法依存树而非线性序列？
• RQ2 显式建模左、右依存成分之间的相关性，如何提升语言建模与句法分析任务的性能？
• RQ3 通过利用结构化的树生成，该模型能否在句子补全任务中达到最先进结果？
• RQ4 与现有神经网络解析器相比，该模型在依存句法分析输出重排序任务中的适用程度如何？
• RQ5 该模型能否通过采样生成连贯且语法正确的依存树，从而支持文本生成等应用？

主要发现

• LdTreeLSTM 在 MSR 句子补全挑战中达到最先进性能，优于此前发表的结果。
• 在依存句法分析重排序任务中，LdTreeLSTM 表现具有竞争力，超过 MSTParser 基线，并接近 S-LSTM 和 NN 解析器的性能。
• Add-Left 分类器准确率达到 94.3%，Add-Right 为 92.6%，Add-Nx-Left 为 93.4%，Add-Nx-Right 为 96.0%，表明其具备强大的边预测能力。
• 使用预训练的 GLOVE 嵌入略微提升了性能，但未超越 LdTreeLSTM，表明后者的架构更具有效性。
• 在 PTB 测试集上，LdTreeLSTM 的 UAS 达到 88.7%，LAS 达到 85.6%，优于 MSTParser，并在依存句法分析任务中展现出强大的泛化能力。
• 该模型成功生成了连贯的依存树，展示了其在句子压缩、简化等文本生成应用中的潜力。