[论文解读] Semantic Role Labeling as Dependency Parsing: Exploring Latent Tree Structures Inside Arguments

Yu Zhang, Qingrong Xia+4 more|arXiv (Cornell University)|Oct 13, 2021

Natural Language Processing Techniques参考文献 84被引用 9

一句话总结

本文提出将扁平语义论元跨度建模为潜在子树，通过一种新颖的跨度约束TreeCRF将语义角色标注（SRL）问题转化为依赖解析任务。该方法通过显式捕捉内部论元结构并实现全局优化，在CoNLL05和CoNLL12基准上取得了最先进性能，优于所有先前的无句法依赖SRL方法。

ABSTRACT

Semantic role labeling (SRL) is a fundamental yet challenging task in the NLP community. Recent works of SRL mainly fall into two lines: 1) BIO-based; 2) span-based. Despite ubiquity, they share some intrinsic drawbacks of not considering internal argument structures, potentially hindering the model's expressiveness. The key challenge is arguments are flat structures, and there are no determined subtree realizations for words inside arguments. To remedy this, in this paper, we propose to regard flat argument spans as latent subtrees, accordingly reducing SRL to a tree parsing task. In particular, we equip our formulation with a novel span-constrained TreeCRF to make tree structures span-aware and further extend it to the second-order case. We conduct extensive experiments on CoNLL05 and CoNLL12 benchmarks. Results reveal that our methods perform favorably better than all previous syntax-agnostic works, achieving new state-of-the-art under both end-to-end and w/ gold predicates settings.

研究动机与目标

• 为解决现有SRL方法在建模内部论元结构方面的局限性，这些结构通常被视为扁平跨度。
• 通过将论元跨度视为潜在子树，将基于跨度的SRL问题转化为依赖解析任务。
• 设计一种跨度约束TreeCRF，以强制实施论元边界约束，并防止论元内部的无效依赖关系。
• 通过引入兄弟节点因子，将框架扩展至二阶建模，以提升结构感知能力。
• 在不依赖外部句法监督的前提下，实现最先进性能。

提出的方法

• 该方法将谓词-论元结构建模为部分观测的依赖树，其中论元跨度作为潜在子树。
• 提出一种新颖的跨度约束TreeCRF，以强制实施结构约束，禁止跨越论元边界的边连接以及多头依赖。
• 模型使用动态规划在潜在树结构上进行全局推理，在训练过程中对未观测到的子树进行边缘化。
• 通过引入兄弟节点因子，将框架扩展至二阶建模，以捕捉论元之间的高阶依赖关系。
• 该方法端到端可训练，无需金标准句法树或外部语言知识。
• 模型在CoNLL05和CoNLL12基准上进行训练和评估，涵盖端到端和金标准谓词两种设置。

实验结果

研究问题

• RQ1 将扁平论元跨度建模为潜在子树是否能通过捕捉内部句法结构来提升SRL性能？
• RQ2 跨度约束TreeCRF是否能有效在学习依赖结构的同时强制实施论元边界约束？
• RQ3 通过兄弟节点因子实现的二阶建模是否能在SRL任务中带来可测量的性能提升，相比一阶方法？
• RQ4 所提出的方法是否能在不依赖外部句法监督的前提下实现最先进性能？
• RQ5 所生成的依赖树是否展现出与语言学标注一致的合理句法结构？

主要发现

• 所提方法在CoNLL05和CoNLL12基准上，无论在端到端还是金标准谓词设置下，均取得了新的最先进结果。
• 跨度约束TreeCRF有效防止了跨越论元边界的无效依赖关系以及多头结构的出现。
• 通过兄弟节点因子实现的二阶建模带来了显著的性能提升，与依赖解析文献中的发现一致。
• 通过潜在子树建模，模型在长距离依赖任务上表现更优，并增强了全局结构一致性。
• 大量分析表明，所生成的依赖树在语言学上是合理的，且与人工标注的句法结构高度一致。
• 该方法优于所有先前的无句法依赖SRL方法，证明了显式建模内部论元结构的优越性。