[论文解读] Two Local Models for Neural Constituent Parsing

Zhiyang Teng, Yue Zhang|arXiv (Cornell University)|Aug 14, 2018

Natural Language Processing Techniques参考文献 54被引用 5

一句话总结

本文提出了两种用于神经成分解析的局部神经模型，通过双向LSTM编码器和基于树LSTM的标签生成，独立决策成分跨度和CFG规则。尽管模型结构简单且未采用全局结构化训练，最佳模型在PTB上达到92.4%的带括号F1分数，在CTB 5.1上达到87.3%，优于许多无需集成或外部解析的先前神经解析器。

ABSTRACT

Non-local features have been exploited by syntactic parsers for capturing dependencies between sub output structures. Such features have been a key to the success of state-of-the-art statistical parsers. With the rise of deep learning, however, it has been shown that local output decisions can give highly competitive accuracies, thanks to the power of dense neural input representations that embody global syntactic information. We investigate two conceptually simple local neural models for constituent parsing, which make local decisions to constituent spans and CFG rules, respectively. Consistent with previous findings along the line, our best model gives highly competitive results, achieving the labeled bracketing F1 scores of 92.4% on PTB and 87.3% on CTB 5.1.

研究动机与目标

• 探究高度局部化的神经模型是否能在不依赖全局结构化学习的情况下实现神经成分解析的竞争力表现。
• 评估局部跨度级与规则级分类在捕捉句法结构方面，通过密集神经表示的有效性。
• 确定双向LSTM编码器在在多大程度上能隐式建模长距离依赖，从而减少对非局部特征的依赖。
• 比较不同局部建模策略——跨度分类、基于规则的解析与多标签跨度预测——在成分解析准确率上的表现。
• 证明简单局部模型在使用强大神经编码器时，无需重排序、集成或外部解析，即可达到或超越最先进结果。

提出的方法

• 跨度模型使用双向LSTM预测每个可能跨度[i,j]是否为成分，除长度为1的跨度外，其余跨度均进行0/1分类。
• 规则模型使用双线性打分机制，预测所有有效分割点处的产生规则概率$P([i,j] \rightarrow [i,k][k+1,j] \mid S)$。
• 通过二元CKY解析，利用来自跨度模型或规则模型的局部概率，构建无标签的二叉化解析树。
• 使用树LSTM编码器递归编码二叉化无标签树，生成上下文相关的节点表示。
• 独立的LSTM解码器利用树LSTM输出作为输入，为每个节点生成成分标签序列（包括一元规则）。
• 去二叉化后重建最终解析树，各节点的标签通过解码器分配。

实验结果

研究问题

• RQ1 无全局结构化训练的局部跨度级分类模型能否实现具有竞争力的成分解析准确率？
• RQ2 局部建模成分规则（即分割点）与直接建模成分跨度相比，表现如何？
• RQ3 双向LSTM编码器在多大程度上能捕捉长距离句法依赖，从而减少对非局部特征的需求？
• RQ4 不同局部建模策略（跨度、规则、多标签跨度）在各类成分类型和句子长度下的表现如何？
• RQ5 当使用强大神经编码器时，简单局部模型是否能在成分解析中超越更复杂的全局模型？

主要发现

• 最佳模型BiaffineRule在PTB测试集上达到92.4%的带括号F1分数，在CTB 5.1上达到87.3%，优于许多无需集成或外部解析的先前神经解析器。
• BiaffineRule在SBAR、WHNP和QP等标签上的表现优于MultiSpan和BinarySpan，尤其在短句中，得益于更优的分割点检测能力。
• 在NP、PP、ADVP和ADJP等类型上，MultiSpan优于BiaffineRule，表明显式标签信息对这些类型有帮助。
• 对于较长句子（长度 > 30）或较长跨度（长度 > 10），MultiSpan超越BiaffineRule，表明在复杂结构中标签信息的价值更高。
• 模型表现出极小的标签偏差，F1分数随句子长度缓慢下降，与传统局部模型不同。
• BiaffineRule在推理速度上最快（6.00句/秒），而MultiSpan和BinarySpan较慢（分别为21.55和22.12句/秒），表明准确率与速度之间存在权衡。