[论文解读] Span-Based Constituency Parsing with a Structure-Label System and Provably Optimal Dynamic Oracles

James Cross, Liang Huang|arXiv (Cornell University)|Dec 20, 2016

Natural Language Processing Techniques参考文献 29被引用 9

一句话总结

本文提出了一种新颖的基于跨度的短语结构解析框架，采用因子化转移系统，结合结构动作与标签动作，其中栈维护的是句子跨度而非部分语法树。该工作提出了首个可证明最优的动态最优解法，其时间复杂度为摊销 O(1)，实现了 SOTA 的 F₁ 分数（在 Penn Treebank 上为 91.1，在 French Treebank 上为 83.31），适用于任何单模型、封闭集解析器，无需重排序或外部数据，仅使用极简的 LSTM 基础跨度特征。

ABSTRACT

Parsing accuracy using efficient greedy transition systems has improved dramatically in recent years thanks to neural networks. Despite striking results in dependency parsing, however, neural models have not surpassed state-of-the-art approaches in constituency parsing. To remedy this, we introduce a new shift-reduce system whose stack contains merely sentence spans, represented by a bare minimum of LSTM features. We also design the first provably optimal dynamic oracle for constituency parsing, which runs in amortized O(1) time, compared to O(n^3) oracles for standard dependency parsing. Training with this oracle, we achieve the best F1 scores on both English and French of any parser that does not use reranking or external data.

研究动机与目标

• 解决神经网络在短语结构解析中的性能与依存解析相比的差距问题。
• 设计一种更契合短语结构解析中对句子跨度内在关注的解析框架。
• 开发一种高效且可证明最优的动态最优解法，以提升训练效率与 F₁ 优化性能。
• 在不依赖重排序、外部数据或复杂架构的前提下，实现短语结构解析的 SOTA 性能。
• 证明仅通过简单、贪心、基于跨度的系统与极简特征工程，即可超越现有模型。

提出的方法

• 解析器采用因子化转移系统，其中栈存储句子跨度，动作在结构动作（shift、combine）与标签动作（assign nonterminal）之间交替。
• 结构动作（shift 与 combine）以自底向上的方式构建短语跨度，不强制栈中保持树结构，从而支持任意元数的产生式规则，避免二叉化。
• 标签动作将非终结符符号分配给最顶层的跨度，直接生成树括号。
• 句子跨度通过双向 LSTM 多层输出的差异表示，无需预训练词嵌入。
• 设计了一种动态最优解法，可计算 F₁、精确率与召回率最优的动作序列，其摊销时间复杂度为 O(1)。
• 模型通过动态最优解法端到端训练，并以严格贪心的方式执行推理，固定步数为 4n−2。

实验结果

研究问题

• RQ1 一种直接在句子跨度上操作的基于转移的短语结构解析器，是否能超越现有神经网络模型？
• RQ2 能否设计一种在短语结构解析中既可证明最优又计算高效的动态最优解法？
• RQ3 基于双向 LSTM 跨度差异的极简特征表示，是否能在无外部词嵌入或重排序的情况下实现 SOTA 性能？
• RQ4 即使采用贪心推理策略，结合可证明最优的动态最优解法，是否仍能获得优于更复杂解码策略的 F₁ 分数？
• RQ5 所提出的框架是否具备跨语言泛化能力，如在英语与法语树库上所展示的？

主要发现

• 所提出的解析器在 Penn Treebank 测试集上实现了 91.1 的 F₁ 分数，是目前任何单模型、封闭集短语结构解析器中最高者，且无需重排序或外部数据。
• 在 French Treebank 上，解析器达到了 83.31 的 F₁ 分数，甚至超过了在 SPMRL 2014 共享任务中使用外部数据与重排序的系统。
• 动态最优解法的摊销时间复杂度为 O(1)，显著优于标准依存解析中使用的 O(n³) 最优解法。
• 尽管结构动作仅使用 4 个跨度特征，标签动作仅使用 3 个跨度特征，模型仍实现了 SOTA 结果，且无需预训练词嵌入。
• 即使采用贪心解码，解析器仍保持高性能，且由于动作总数固定，束搜索可轻松适配。
• 该模型对极简超参数调优具有鲁棒性，并可通过网格搜索或增大隐藏层大小等技术进一步提升性能。