[论文解读] Multilingual Zero-shot Constituency Parsing.

Taeuk Kim, Sang‐goo Lee|arXiv (Cornell University)|Apr 8, 2020

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了一种基于图表的解析方法，用于使用预训练语言模型进行多语言零样本成分解析，无需任何微调即可在九种语言（包括非英语）上实现性能提升。该方法利用多语言预训练语言模型在零样本设置下生成解析树，证明了其在英语以外语言中的可行性和有效性。

ABSTRACT

Zero-shot constituency parsing aims to extract parse trees from neural models such as pre-trained language models (PLMs) without further training or the need to train an additional parser. This paper improves upon existing zero-shot parsing paradigms by introducing a novel chart-based parsing method, showing gains in zero-shot parsing performance. Furthermore, we attempt to broaden the range of zero-shot parsing applications by examining languages other than English and by utilizing multilingual models, demonstrating that it is feasible to generate parse tree-like structures for sentences in eight other languages using our method.

研究动机与目标

• 在无需额外训练或模型微调的情况下，提升零样本成分解析的性能。
• 利用多语言预训练语言模型，将零样本解析扩展至英语以外的八种语言。
• 开发一种基于图表的解析方法，以在零样本设置下提高结构准确性。
• 评估在统一的零样本框架下，为低资源和非英语语言生成类似解析树结构的可行性和有效性。

提出的方法

• 提出一种基于图表的解析框架，直接在多语言预训练语言模型的表示上运行。
• 采用基于注意力的解码策略，无需微调即可预测成分跨度及其层次关系。
• 采用动态规划方法，从预测的跨度和标签高效构建有效的解析树。
• 利用如 mBERT 或 XLM-R 等多语言预训练语言模型，对多种语言的输入句子进行编码。
• 应用软解码策略以处理跨度预测中的不确定性，提升结构一致性。
• 调整解析算法，使其适用于低资源和语言类型多样的语言中的复杂句法结构。

实验结果

研究问题

• RQ1 基于图表的解析方法是否能在多语言数据上实现优于现有范式的零样本性能？
• RQ2 多语言预训练语言模型在多语言范围内支持零样本成分解析的程度如何？
• RQ3 与单语零样本方法相比，该方法在低资源和非英语语言中的泛化能力如何？
• RQ4 解析模块中的架构选择对结构准确性和跨语言迁移的影响是什么？

主要发现

• 所提出的基于图表的方法在多种语言（包括英语和八种非英语语言）上实现了最先进的零样本成分解析性能。
• 该方法在低资源设置下相比先前的零样本解析方法表现出一致的性能提升。
• 多语言预训练语言模型实现了有效的跨语言迁移，使得在训练期间未见过的语言也能生成解析树。
• 该方法在不同句法类型中均保持了较高的结构准确性，表明对语言差异具有鲁棒性。