[论文解读] SyntaxNet Models for the CoNLL 2017 Shared Task

Chris Alberti, Daniel Andor+11 more|arXiv (Cornell University)|Mar 15, 2017

Natural Language Processing Techniques参考文献 10被引用 38

一句话总结

本文提出 ParseySaurus，一种基于 DRAGNN 框架的多语言依存句法分析模型，结合字符级 LSTM 与基于转移的句法分析，并进行联合标注。该模型在 52 个通用依存树库上相较先前最先进模型实现了 3.47% 的绝对 Labeled Accuracy Score (LAS) 提升，显著提升了多语言句法分析性能。

ABSTRACT

We describe a baseline dependency parsing system for the CoNLL2017 Shared Task. This system, which we call "ParseySaurus," uses the DRAGNN framework [Kong et al, 2017] to combine transition-based recurrent parsing and tagging with character-based word representations. On the v1.3 Universal Dependencies Treebanks, the new system outpeforms the publicly available, state-of-the-art "Parsey's Cousins" models by 3.47% absolute Labeled Accuracy Score (LAS) across 52 treebanks.

研究动机与目标

• 为 CoNLL 2017 多语言句法分析共享任务（通用依存树库）开发一个强大且公开可用的基线模型。
• 通过整合字符级表征与动态循环句法分析，改进现有的 SyntaxNet 模型。
• 通过发布预训练模型与代码，使小型研究团队能够参与多语言句法分析。
• 证明利用字符级特征联合学习标注与句法分析的有效性。

提出的方法

• 模型使用单个字符级 LSTM 从左到右处理原始文本，在词边界处生成词表征。
• 第二个从右到左的 LSTM 处理词表征，生成上下文的“前瞻”表征。
• 第三个 LSTM 经训练用于预测 POS 标签，以前瞻表征作为输入，充当联合标注器。
• 句法解析组件采用基于转移的弧标准系统，并使用束搜索（束宽 8），动态结合来自栈、缓冲区以及标注器/前瞻层的输入表征。
• 所有组件通过多任务、最大似然的“栈传播”方法进行端到端联合训练，交替更新标注器与解析器。
• 模型采用自归一化 Softmax、层归一化、梯度裁剪、Dropout 以及自适应学习率的 ADAM 优化方法。

实验结果

研究问题

• RQ1 统一的、具备字符感知能力的神经网络架构是否能提升在多种语言上的多语言依存句法分析性能？
• RQ2 将字符级表征与联合句法分析及标注相结合，相较于先前模型，对句法分析准确率有何影响？
• RQ3 在依存句法分析中，动态循环表征组合方式相较于静态或固定序列模型，优势有多大？
• RQ4 一个单一共享的模型架构是否能在通用依存树库 v1.3 的 52 种不同语言中均实现优异性能？
• RQ5 自归一化 Softmax 训练是否能提升神经网络依存句法分析中束搜索的性能？

主要发现

• ParseySaurus 在 52 个通用依存树库上相较先前的 'Parsey’s Cousins' 模型实现了 3.47% 的绝对 LAS 提升。
• 该模型在低资源语言上表现出显著改进，例如拉脱维亚语的 LAS 绝对提升达 12.0%。
• 平均而言，模型将错误率相对降低了 14.4%（RRIE），表明在各类语言中均实现了显著的性能提升。
• 该模型在全部 52 个树库上均优于先前最先进模型，尤其在形态丰富或低资源语言中提升最大。
• 使用字符级 LSTM 与联合训练标注显著增强了模型对罕见词或 OOV 词的鲁棒性与准确性。
• 该实现（包括预训练模型与代码）已公开发布于 SyntaxNet GitHub 仓库，供社区使用与扩展。