[论文解读] Stack-Pointer Networks for Dependency Parsing

Xuezhe Ma, Zecong Hu+4 more|arXiv (Cornell University)|May 3, 2018

Natural Language Processing Techniques被引用 8

一句话总结

本文提出了一种新型基于转移的神经依赖解析器——堆栈指针网络（Stack-Pointer Networks, StackPtr），该模型结合指针网络与内部堆栈，实现自顶向下、深度优先的解析。通过在保持线性时间复杂度的同时利用全局句子上下文和子树历史，StackPtr 在 29 个语料库中的 21 个（涵盖 20 种语言）上实现了最先进性能。

ABSTRACT

We introduce a novel architecture for dependency parsing: \emph{stack-pointer networks} ( extbf{ extsc{StackPtr}}). Combining pointer networks~\citep{vinyals2015pointer} with an internal stack, the proposed model first reads and encodes the whole sentence, then builds the dependency tree top-down (from root-to-leaf) in a depth-first fashion. The stack tracks the status of the depth-first search and the pointer networks select one child for the word at the top of the stack at each step. The extsc{StackPtr} parser benefits from the information of the whole sentence and all previously derived subtree structures, and removes the left-to-right restriction in classical transition-based parsers. Yet, the number of steps for building any (including non-projective) parse tree is linear in the length of the sentence just as other transition-based parsers, yielding an efficient decoding algorithm with $O(n^2)$ time complexity. We evaluate our model on 29 treebanks spanning 20 languages and different dependency annotation schemas, and achieve state-of-the-art performance on 21 of them.

研究动机与目标

• 解决经典基于转移的解析器因自左向右、局部决策而导致的错误传播问题。
• 克服基于图的解析器效率低下的问题，尽管其准确率较高，但时间复杂度较高（例如 O(n³)）。
• 开发一种基于转移的解析器，能够保持对句子的全局视图以及先前构建的子树信息，以提升准确率而不牺牲效率。
• 在保持线性解析步骤和 O(n²) 时间复杂度的前提下，支持非投射依赖结构的解析。
• 在多种语言和依赖标注模式下实现具有竞争力或最先进性能。

提出的方法

• 使用双向 RNN 编码器将整个输入句子编码为上下文相关的词表示。
• 维护一个内部堆栈以跟踪依赖树深度优先遍历的当前状态。
• 在每个解码步骤中，应用指针网络选择堆栈顶部词作为头词的子词。
• 指针网络会关注句子中的所有词，包括兄弟词和祖父母词，以辅助子词选择决策。
• 将选定的子词整合到树中并更新堆栈状态，从而实现自顶向下、增量式的树构建。
• 使用可微注意力机制，使模型能够关注完整句子和先前子树结构中的相关上下文。

实验结果

研究问题

• RQ1 基于转移的解析器是否能在不增加时间复杂度的前提下，保持全局句子上下文和子树历史，以提升解析准确率？
• RQ2 将指针网络与内部堆栈结合，是否能实现高效、有效且准确的非投射依赖树自顶向下解析？
• RQ3 在多种语言中，StackPtr 解析器与最先进的基于图模型（如双仿射注意力，BiAF）相比，在准确率和效率方面表现如何？
• RQ4 所提出的架构是否能在具有不同句法结构和依赖标注模式的语言之间实现良好泛化？
• RQ5 在基于转移的解析中移除自左向右约束后，对解析性能有何影响？

主要发现

• StackPtr 在 29 个语料库中的 21 个（涵盖 20 种语言）上实现了最先进 UAS 和 LAS，其中包括 9 种语言上优于强基线模型 biaffine attention (BiAF)。
• 在 CoNLL 2012 共享任务中，StackPtr 在 8 种语言（阿拉伯语、捷克语、英语、德语、葡萄牙语、斯洛文尼亚语、西班牙语、瑞典语）上达到最高 UAS，得分范围为 93.46% UAS（西班牙语）至 95.52% UAS（挪威语）。
• 在 UD 语料库中，StackPtr 在所有 12 种测试语言上的 UAS 均超过 90%，在 9 种语言上优于 BiAF（例如挪威语 +0.25 UAS，俄语 +0.30 UAS）。
• 在英语 UD 语料库上，StackPtr 在测试集上达到 92.51% UAS 和 90.50% LAS，优于 BiAF（91.91% UAS，89.82% LAS）。
• 在德语 UD 语料库上，StackPtr 达到 94.89% UAS 和 92.58% LAS，超过 BiAF（94.75% UAS，92.72% LAS）。
• 该模型保持了 O(n²) 时间复杂度，与高效基于转移的解析器相当，同时通过指针网络注意力机制捕捉了全局上下文。