[论文解读] Syntax-aware Multilingual Semantic Role Labeling

Shexia He, Zuchao Li+1 more|arXiv (Cornell University)|Sep 1, 2019

Natural Language Processing Techniques参考文献 31被引用 6

一句话总结

本文提出了一种语法感知的多语言语义角色标注模型，采用一种新颖的语法规则引导的论元剪枝方法，有效将句法信息整合到统一的神经网络SRL框架中。通过应用该剪枝机制并利用上下文感知的词表示，该模型在所有七个CoNLL-2009基准语言上均取得了新的最先进结果，标志着自2009年以来首次实现全面的多语言SRL性能提升。

ABSTRACT

Recently, semantic role labeling (SRL) has earned a series of success with even higher performance improvements, which can be mainly attributed to syntactic integration and enhanced word representation. However, most of these efforts focus on English, while SRL on multiple languages more than English has received relatively little attention so that is kept underdevelopment. Thus this paper intends to fill the gap on multilingual SRL with special focus on the impact of syntax and contextualized word representation. Unlike existing work, we propose a novel method guided by syntactic rule to prune arguments, which enables us to integrate syntax into multilingual SRL model simply and effectively. We present a unified SRL model designed for multiple languages together with the proposed uniform syntax enhancement. Our model achieves new state-of-the-art results on the CoNLL-2009 benchmarks of all seven languages. Besides, we pose a discussion on the syntactic role among different languages and verify the effectiveness of deep enhanced representation for multilingual SRL.

研究动机与目标

• 解决多语言语义角色标注中长期存在的性能差距，特别是针对英语和中文以外的语言。
• 探究在统一多语言SRL框架中，句法信息整合与深度上下文感知词表示的有效性。
• 开发一种简单但高效的方法，将句法结构整合到跨多种语言的神经SRL模型中。
• 克服以往仅依赖距离规则的句法剪枝方法的局限性，这些方法在不同语言间缺乏泛化能力。
• 在所有七个CoNLL-2009语言上实现一致的性能提升，更新自2009年以来未变的结果。

提出的方法

• 提出一种基于句法依存树结构的新型论元剪枝方法，以语法感知的过滤替代基于距离的k阶剪枝。
• 在BiLSTM编码器与双仿射分类器之间引入剪枝层，以在分类前过滤掉不太可能的论元候选。
• 为所有七种语言采用统一的模型架构，实现在保持语言特异性句法模式的同时进行联合学习。
• 采用上下文感知的词表示（如BERT风格）作为输入嵌入，以增强语义与句法理解能力。
• 采用端到端训练方式，通过双仿射注意力进行谓词-论元对分类以实现角色分类。
• 使用标准的CoNLL-2009评估指标（包括F1分数和无标签依存树准确率UAS）评估性能。

实验结果

研究问题

• RQ1 语法感知的论元剪枝机制是否能提升多种语言上的多语言SRL性能？
• RQ2 当与深度上下文感知词表示结合时，句法信息在多语言SRL中起到何种作用？
• RQ3 采用基于规则的剪枝的统一模型架构是否能在句法结构差异较大的语言间有效泛化？
• RQ4 为何k阶剪枝在最先进SRL模型中未能提升性能，而基于语法的替代方法能否克服此问题？
• RQ5 当基线模型本身已是语法无关且性能强劲时，句法信息在多大程度上能提升SRL性能？

主要发现

• 所提出的语法感知论元剪枝方法在所有七个CoNLL-2009基准语言（包括加泰罗尼亚语、中文、捷克语、英语、德语、日语和西班牙语）上均取得了新的最先进F1分数。
• 对于加泰罗尼亚语和西班牙语，基于黄金句法的Top-1论元剪枝实现了100%的覆盖度，分别带来了1.43%和1.35%的显著性能提升。
• 采用上下文感知词表示的模型在每种语言上的表现均优于所有先前报告的结果，标志着自CoNLL-2009共享任务以来的首次整体更新。
• 高质量的预测句法（以UAS衡量）进一步提升了模型性能，证实了句法信息在多语言SRL中的价值。
• 尽管k阶剪枝在大多数语言上提升了性能，但在英语上并未带来增益，表明当前句法整合方法存在局限性。
• 本研究证明，句法信息与深度增强表示不仅对英语有益，也对广泛的多语言SRL任务具有显著促进作用。