[论文解读] Parsing All: Syntax and Semantics, Dependencies and Spans

Junru Zhou, Zuchao Li+1 more|arXiv (Cornell University)|Aug 30, 2019

Topic Modeling参考文献 51被引用 4

一句话总结

本文提出了一种统一的联合模型，用于使用跨度和依存结构表示来联合解析句法和语义，通过多任务学习实现句法和语义解析之间的双向收益。该模型在四个任务上实现了最先进或具有竞争力的结果：CoNLL-2005 和 CoNLL-2009 基准上的跨度和依存语义角色标注（SRL），以及宾州树库上的成分和依存句法解析。

ABSTRACT

Both syntactic and semantic structures are key linguistic contextual clues, in which parsing the latter has been well shown beneficial from parsing the former. However, few works ever made an attempt to let semantic parsing help syntactic parsing. As linguistic representation formalisms, both syntax and semantics may be represented in either span (constituent/phrase) or dependency, on both of which joint learning was also seldom explored. In this paper, we propose a novel joint model of syntactic and semantic parsing on both span and dependency representations, which incorporates syntactic information effectively in the encoder of neural network and benefits from two representation formalisms in a uniform way. The experiments show that semantics and syntax can benefit each other by optimizing joint objectives. Our single model achieves new state-of-the-art or competitive results on both span and dependency semantic parsing on Propbank benchmarks and both dependency and constituent syntactic parsing on Penn Treebank.

研究动机与目标

• 为解决句法解析与语义解析之间双向交互的空白，此前工作主要关注句法辅助语义，而未反过来考虑语义对句法的促进作用。
• 探索句法与语义的跨度和依存结构表示的联合学习，该方向在先前工作中尚未得到充分研究。
• 设计一种统一的表示框架，整合通过联合跨度表示的句法结构和通过 SRL 约束表示的语义结构，实现端到端训练。
• 通过实证验证语义解析是否能提升句法解析性能，反之亦然，而不仅限于传统的单向信息流。
• 在测试时无需依赖外部解析监督的情况下，实现语义和句法解析任务的最先进性能。

提出的方法

• 提出一种基于头驱动短语结构语法（HPSG）的新颖‘联合跨度’结构，通过同时编码短语结构和核心词-依赖弧，统一表示成分结构和依存结构。
• 提出一种统一的 SRL 表示，简化训练过程并利用 SRL 约束实现精确推理，适用于跨度和依存 SRL。
• 采用平衡目标的多任务学习方法，联合优化句法和语义解析，实现双向信息流动。
• 使用神经编码器有效整合句法信息，通过共享头和任务特定头，同时建模依存和跨度结构。
• 为依存标签训练一个独立的多分类分类器，与解析器联合优化，同时预测跨度和依存结构。
• 应用预训练上下文表示（如 BERT 类模型）以增强特征学习，在不依赖测试时辅助解析的情况下，提升所有任务的性能。

实验结果

研究问题

• RQ1 语义解析是否能提升句法解析性能，从而逆转典型的句法监督单向流动？
• RQ2 句法与语义的跨度和依存结构表示在联合建模下能获得多大程度的收益？
• RQ3 与独立模型相比，统一的跨度和依存 SRL 表示是否能提升泛化能力和性能？
• RQ4 一个单一模型是否能在无需测试时外部解析监督的情况下，同时在句法和语义解析任务中达到最先进水平？
• RQ5 受 HPSG 启发的联合跨度结构如何在统一框架中提升对成分和依存关系的建模能力？

主要发现

• 所提出的联合模型在 CoNLL-2005 和 CoNLL-2009 基准上，于跨度和依存 SRL 任务中均取得新的最先进结果，优于先前方法且无需测试时注入解析结果。
• 在宾州树库上的成分和依存句法解析任务中，模型取得了具有竞争力的结果，展现出在句法解析形式上的强大泛化能力。
• 在端到端模式下，该模型在跨度 SRL 的域内（WSJ）和域外（Brown）测试集上均优于先前最先进方法 Strubell et al. (2018)，即使未使用测试时预测的解析结果。
• 在 CoNLL-2009 的端到端和给定谓词模式下，该模型在依存 SRL 任务中均取得新的最先进结果，证实了统一 SRL 表示的有效性。
• 消融实验表明，联合学习在所有四个任务中均提升了语义和句法解析性能，且观察到相互促进的收益。
• 预训练上下文表示的集成进一步提升了性能，在无需额外外部解析的情况下，所有设置均达到最先进水平。