[论文解读] Something Old, Something New: Grammar-based CCG Parsing with Transformer Models

Stephen Clark|arXiv (Cornell University)|Sep 21, 2021

Natural Language Processing Techniques参考文献 72被引用 8

一句话总结

该论文提出了一种混合方法，结合基于Transformer的神经模型与符号化的组合范畴语法（CCG）解析，采用多标签分类器进行超标签化，并将其与基于语法的解析器集成。该方法在CCGbank测试集上实现了93.0%的新SOTA F值，完整句子准确率超过54%，相较于先前系统有显著提升。

ABSTRACT

This report describes the parsing problem for Combinatory Categorial Grammar (CCG), showing how a combination of Transformer-based neural models and a symbolic CCG grammar can lead to substantial gains over existing approaches. The report also documents a 20-year research program, showing how NLP methods have evolved over this time. The staggering accuracy improvements provided by neural models for CCG parsing can be seen as a reflection of the improvements seen in NLP more generally. The report provides a minimal introduction to CCG and CCG parsing, with many pointers to the relevant literature. It then describes the CCG supertagging problem, and some recent work from Tian et al. (2020) which applies Transformer-based models to supertagging with great effect. I use this existing model to develop a CCG multitagger, which can serve as a front-end to an existing CCG parser. Simply using this new multitagger provides substantial gains in parsing accuracy. I then show how a Transformer-based model from the parsing literature can be combined with the grammar-based CCG parser, setting a new state-of-the-art for the CCGbank parsing task of almost 93% F-score for labelled dependencies, with complete sentence accuracies of over 50%.

研究动机与目标

• 通过将神经模型与符号化语法形式化相结合，提升CCG解析的准确性。
• 通过混合架构解决纯神经或纯符号CCG解析器的局限性。
• 利用Transformer的上下文建模优势进行超标签化，同时保留CCG的结构归纳偏置。
• 在CCGbank基准上实现SOTA性能，尤其在有标签依存关系与完整句子准确率方面。
• 探索语法锚定神经模型在现代NLP中的可行性，特别是在组合性与结构化语言理解任务中。

提出的方法

• 基于Tian et al. (2020)的Transformer模型训练一个多标签分类器，用于CCG超标签化，为词汇分配词类。
• 该多标签分类器作为符号化CCG解析器的前端，替代传统超标签化组件。
• 将基于Transformer的神经解析器与基于语法的CCG解析器集成，结合神经打分与符号化推导规则。
• 采用束搜索策略，通过调整束宽平衡准确率与速度，并引入筛选模式以提升效率。
• 解析器使用组合规则，包括前向/后向应用、类型提升与前向组合，以处理句法移动与提取现象。
• 在CCGbank测试集（第00节）上评估模型，测量F值、句子准确率与解析速度。

实验结果

研究问题

• RQ1 基于Transformer的神经超标签分类器在与符号化解析器集成后，能否显著提升CCG解析的准确性？
• RQ2 将神经打分与符号化组合规则结合，对CCGbank上的解析性能有何影响？
• RQ3 在混合解析器中，调整束宽时，解析准确率与速度之间的权衡关系如何？
• RQ4 语法锚定的神经模型在多大程度上能超越以往的神经与符号CCG解析器？
• RQ5 此类混合系统在较低束宽下是否仍能保持高准确率，表明其对搜索约束的鲁棒性？

主要发现

• 该混合系统在CCGbank测试集上实现了93.0%的新SOTA F值，用于有标签依存关系。
• 完整句子准确率达到54%，显著优于先前方法。
• 即使在束宽低至8时，解析器仍保持93.0%的高准确率，束宽为4时仅轻微下降至91.7%。
• 在CPU上解析速度可达每秒约100个句子，尽管使用非优化的Java实现，仍表现出实际可用的效率。
• “%-skimmed”列显示，在束宽64时仅有0.9%的句子通过筛选模式处理，表明主解析器具有高度可靠性。
• 结果证实，神经模型能有效减少对大规模搜索的依赖，与先前在移位-归约解析中的发现一致。