[论文解读] When Are Tree Structures Necessary for Deep Learning of Representations?

Jiwei Li, Minh-Thang Luong+2 more|arXiv (Cornell University)|Feb 28, 2015

Topic Modeling参考文献 46被引用 135

一句话总结

本文研究了递归神经网络（树形结构模型）在何种情况下相较于更简单的循环神经网络（RNN）在学习文本表示方面具有优势。通过在四个自然语言处理任务中对比基于树的模型与基于序列的模型，作者发现递归模型仅在需要长距离语义依赖的任务中显著优于RNN，尤其是语义关系抽取任务。此外，研究还表明，通过在处理前将长句子按标点符号拆分为类似短语的单元，可使标准RNN的性能达到与递归模型相当的水平，这表明结构分解而非句法解析本身才是其成功的关键因素。

ABSTRACT

Recursive neural models, which use syntactic parse trees to recursively generate representations bottom-up, are a popular architecture. But there have not been rigorous evaluations showing for exactly which tasks this syntax-based method is appropriate. In this paper we benchmark {\bf recursive} neural models against sequential {\bf recurrent} neural models (simple recurrent and LSTM models), enforcing apples-to-apples comparison as much as possible. We investigate 4 tasks: (1) sentiment classification at the sentence level and phrase level; (2) matching questions to answer-phrases; (3) discourse parsing; (4) semantic relation extraction (e.g., {\em component-whole} between nouns). Our goal is to understand better when, and why, recursive models can outperform simpler models. We find that recursive models help mainly on tasks (like semantic relation extraction) that require associating headwords across a long distance, particularly on very long sequences. We then introduce a method for allowing recurrent models to achieve similar performance: breaking long sentences into clause-like units at punctuation and processing them separately before combining. Our results thus help understand the limitations of both classes of models, and suggest directions for improving recurrent models.

研究动机与目标

• 确定递归神经网络模型在何种条件下能优于更简单的循环神经网络模型以学习文本表示。
• 评估句法解析树是否真正对自然语言处理任务的性能提升至关重要。
• 探究是否可通过架构改进使循环神经网络模型达到递归神经网络模型的性能水平。
• 理解结构分解在处理文本中长距离依赖关系中的作用。

提出的方法

• 在四个自然语言处理任务中，对使用句法解析树的递归神经网络模型与基于序列的RNN模型（包括LSTM和双向变体）进行基准测试，确保对比条件一致。
• 采用相同的训练设置（AdaGrad优化器、小批量训练、权重初始化）以保证模型比较的公平性。
• 提出一种启发式方法以提升RNN性能：将长句子按标点符号拆分为类似短语的单元，分别处理后再合并表示。
• 将两种模型生成的固定大小向量表示作为下游分类器的输入，用于情感分类、匹配任务、话语分类和关系分类。
• 在标准化数据集上评估模型性能：斯坦福情感树库、UMD-QA、SemEval-2010和RST话语解析数据集。
• 分析中间表示（树模型中的节点输出，RNN中的时间步输出），以评估其语言学意义和信息含量。

实验结果

研究问题

• RQ1 在哪些自然语言处理任务中，递归神经网络模型显著优于循环神经网络？
• RQ2 递归模型的性能提升是源于句法结构，还是源于对长序列的结构分解？
• RQ3 是否可通过架构改进使循环神经网络模型达到递归模型的性能水平？
• RQ4 RNN中的中间表示是否能捕捉与句法树节点相当的语言学有意义信息？
• RQ5 监督质量与序列长度如何影响树形模型与序列模型的相对性能？

主要发现

• 递归神经网络模型仅在需要长距离语义依赖的任务中显著优于RNN，例如头词之间被长跨度隔开的语义关系抽取任务。
• 在SemEval-2010数据集中，递归模型相比最佳RNN基线模型在F1指标上提升了3.5个百分点，凸显其在捕捉长程关系方面的优势。
• 对于长序列且监督信息不足（如仅提供顶层标签）的任务，递归模型与循环模型之间未观察到显著性能差异。
• 一种简单的短语拆分启发式方法——在标点处拆分长句子并分别处理各单元——使RNN在情感分类任务中达到与递归模型相当的性能，表明结构分解是关键因素。
• 双向RNN在短序列上已基本弥合性能差距，表明利用双向上下文的序列建模可弥补缺乏句法结构的不足。
• 尽管缺乏语言学可解释性，RNN在不同时间步的中间输出在UMD-QA短语匹配任务中的表现与具有语言学意义的句法树节点相当。