[论文解读] Unsupervised Transfer of Semantic Role Models from Verbal to Nominal Domain

Yanpeng Zhao, Ivan Titov|arXiv (Cornell University)|May 1, 2020

Natural Language Processing Techniques参考文献 36被引用 4

一句话总结

本文提出一种基于变分自编码器（VAE）的方法，无需标注的名词性数据，即可将语义角色标注从动词性领域迁移至名词性领域。通过利用动词性与名词性谓词之间的共享选择偏好，模型采用共享解码器参数的联合编码器-解码器框架，预测名词性结构中的语义角色，在CoNLL-2009数据集上达到最先进性能，相比监督和无监督基线方法，F1值最高提升4.27%。

ABSTRACT

Semantic role labeling (SRL) is an NLP task involving the assignment of predicate arguments to types, called semantic roles. Though research on SRL has primarily focused on verbal predicates and many resources available for SRL provide annotations only for verbs, semantic relations are often triggered by other linguistic constructions, e.g., nominalizations. In this work, we investigate a transfer scenario where we assume role-annotated data for the source verbal domain but only unlabeled data for the target nominal domain. Our key assumption, enabling the transfer between the two domains, is that selectional preferences of a role (i.e., preferences or constraints on the admissible arguments) do not strongly depend on whether the relation is triggered by a verb or a noun. For example, the same set of arguments can fill the Acquirer role for the verbal predicate `acquire' and its nominal form `acquisition'. We approach the transfer task from the variational autoencoding perspective. The labeler serves as an encoder (predicting role labels given a sentence), whereas selectional preferences are captured in the decoder component (generating arguments for the predicting roles). Nominal roles are not labeled in the training data, and the learning objective instead pushes the labeler to assign roles predictive of the arguments. Sharing the decoder parameters across the domains encourages consistency between labels predicted for both domains and facilitates the transfer. The method substantially outperforms baselines, such as unsupervised and `direct transfer' methods, on the English CoNLL-2009 dataset.

研究动机与目标

• 为解决语义角色标注数据在名词性谓词中稀缺的问题，而这类谓词在事件抽取和摘要等自然语言处理应用中非常常见。
• 实现从已标注的动词性领域到未标注的名词性领域的语义角色模型迁移，克服名词性数据缺乏标注的限制。
• 验证语义角色的选择偏好在动词性和名词性形式之间保持一致的假设（例如，'acquire' 和 'acquisition'）。
• 开发一种半监督VAE框架，联合建模角色预测与论元生成，通过跨领域共享解码器参数以强化一致性。
• 在CoNLL-2009数据集上，超越现有无监督和直接迁移基线方法，在名词性SRL任务中表现更优。

提出的方法

• 采用变分自编码器（VAE）框架，其中标注器作为编码器，从输入句子中预测语义角色。
• 使用共享解码器组件，基于预测的角色生成论元，捕捉跨领域的选择偏好。
• 利用证据下界（ELBO）目标进行模型训练，优化标注器以预测能预测名词性领域中观测论元的角色。
• 通过合成动词性样本进行数据增强，以提升泛化能力，尤其在标注动词性数据有限时。
• 应用重参数化技巧以稳定训练，并使用随机梯度下降优化VAE目标。
• 在动词性和名词性领域之间共享解码器参数，以强化选择偏好的一致性，实现有效的领域迁移。

实验结果

研究问题

• RQ1 能否在不使用任何标注名词性数据的情况下，有效将基于动词性谓词训练的语义角色标注模型迁移到名词性谓词？
• RQ2 语义角色的选择偏好在动词性和名词性结构之间在多大程度上保持一致？
• RQ3 基于共享VAE架构并联合建模角色与论元的方法，是否能显著提升无监督名词性SRL性能，优于基线方法？
• RQ4 潜在代码、联合论元建模和数据增强等组件如何影响模型性能与训练稳定性？
• RQ5 当仅有有限的标注动词性数据时，该模型是否能在低资源设置下实现良好泛化？

主要发现

• 所提出的VAE模型在CoNLL-2009名词性开发集上达到74.80%的F1值，相比最强基线（Most-frequent）高出4.27%的F1。
• 消融实验表明，潜在代码、联合论元建模和数据增强均为实现最优性能所必需，完整模型展现出最稳定的训练过程。
• 随着标注动词性样本数量的增加，模型准确率持续提升，表明其具备良好的可扩展性与数据效率。
• 模型显著优于无监督基线方法（如SyntFun和Arg2vec），甚至在无监督设置下超越了监督型因子分解基线。
• 直接迁移方法（即将动词性模型直接应用于名词性数据）表现劣于所提方法，凸显了领域特定适配的重要性。
• 结果验证了核心假设：语义角色的选择偏好在动词性和名词性形式之间基本保持不变，从而支持有效迁移。