[论文解读] Multilingual Word Sense Disambiguation with Unified Sense Representation

Ying Su, Hongming Zhang+2 more|arXiv (Cornell University)|Oct 14, 2022

Natural Language Processing Techniques被引用 4

一句话总结

该论文提出了一种多语言词义消歧（MWSD）系统 mBERT-UNI，该系统利用 BabelNet 中的统一词义表示，并通过机器翻译和对齐技术，将高资源语言（如英语）的标注迁移至低资源语言。通过在共享词义表示下联合训练多语言数据，该模型在保持英语优异表现的同时，显著提升了低资源语言的性能，尤其在罕见词义上表现更优。

ABSTRACT

As a key natural language processing (NLP) task, word sense disambiguation (WSD) evaluates how well NLP models can understand the lexical semantics of words under specific contexts. Benefited from the large-scale annotation, current WSD systems have achieved impressive performances in English by combining supervised learning with lexical knowledge. However, such success is hard to be replicated in other languages, where we only have limited annotations.In this paper, based on the multilingual lexicon BabelNet describing the same set of concepts across languages, we propose building knowledge and supervised-based Multilingual Word Sense Disambiguation (MWSD) systems. We build unified sense representations for multiple languages and address the annotation scarcity problem for MWSD by transferring annotations from rich-sourced languages to poorer ones. With the unified sense representations, annotations from multiple languages can be jointly trained to benefit the MWSD tasks. Evaluations of SemEval-13 and SemEval-15 datasets demonstrate the effectiveness of our methodology.

研究动机与目标

• 通过利用高资源语言的标注，解决多语言词义消歧（MWSD）中的数据稀缺问题。
• 克服 WSD 系统中跨多种语言存在的词汇知识不一致和标注稀缺的挑战。
• 通过使用 BabelNet 同义词集和词汇释义构建统一的词义表示，实现跨语言的联合训练。
• 在不依赖额外人工标注数据的前提下，提升低资源语言的性能。
• 通过统一的词义表示增强罕见词义的消歧能力，实现跨语言的泛化。

提出的方法

• 利用 BabelNet 同义词集构建统一的词义表示，将跨语言中意义相同的词进行聚合。
• 将 WordNet 和 Wikipedia 的词汇释义（glosses）注入词义表示中，以增强语义理解。
• 通过机器翻译和词对齐工具，将高资源语言（如英语）的标注迁移至低资源语言。
• 在结合 SemCor 和自动生成的多语言语料的联合多语言数据集上，训练基于多语言 BERT 的模型（mBERT-UNI）。
• 通过跨语言的联合学习提升标注效率和模型泛化能力，尤其在低资源语言上表现更优。
• 整合 MuLaN 等数据生成方法，通过利用上下文嵌入和迁移学习，进一步提升性能。

实验结果

研究问题

• RQ1 BabelNet 中的统一词义表示能否提升低资源语言的多语言 WSD 性能？
• RQ2 在共享词义表示下对多语言数据进行联合训练，是否能优于单语言训练的消歧性能？
• RQ3 从高资源语言迁移的标注能否在无额外人工标注数据的情况下，有效提升低资源环境下的 MWSD 性能？
• RQ4 该模型在罕见词义上的表现如何？由于训练实例有限，罕见词义通常更难消歧。
• RQ5 联合训练是否会负面影响高资源语言（如英语）的性能？

主要发现

• mBERT-UNI 在 SemEval-13 和 SemEval-15 基准测试中达到当前最优性能，在联合训练英语和意大利语数据时，意大利语测试集的准确率提升了 0.24%（绝对值）。
• 联合训练使六种低资源语言中的四种（ES、FR、DE、IT）性能得到提升，而英语性能保持相当（ALL 测试集上分别为 75.70 和 75.76）。
• 模型在最少见词义（LCS）上表现出显著提升，表明统一的词义表示能有效增强罕见词义的泛化能力，即使训练数据极少。
• 在统一表示中引入词汇释义显著提升了所有测试语料（包括翻译和 MuLaN 生成的数据）中罕见词义的性能。
• 在联合训练下，模型在英语 WSD 任务中仍保持强劲表现，表明低资源语言未对英语造成负迁移。
• 该方法通过共享统一的词义空间，实现了有效的跨语言迁移，且可与 MuLaN 等其他数据生成技术兼容。