[论文解读] RUSSE'2018: A Shared Task on Word Sense Induction for the Russian Language

Alexander Panchenko, Anastasiya Lopukhina+5 more|arXiv (Cornell University)|Mar 15, 2018

Natural Language Processing Techniques参考文献 9被引用 15

一句话总结

本论文介绍了 RUSSE'2018，这是首个针对俄语的词义消歧（WSI）共享任务，评估了18支团队的模型在无先验词义标注情况下的词义聚类性能。利用三个来自不同来源、具有不同词义粒度的新数据集，该任务表明基于词义嵌入的方法表现优异，顶尖系统在俄语这种形态丰富且词序自由的语言结构上显著优于以往的最先进基线模型。

ABSTRACT

The paper describes the results of the first shared task on word sense induction (WSI) for the Russian language. While similar shared tasks were conducted in the past for some Romance and Germanic languages, we explore the performance of sense induction and disambiguation methods for a Slavic language that shares many features with other Slavic languages, such as rich morphology and virtually free word order. The participants were asked to group contexts of a given word in accordance with its senses that were not provided beforehand. For instance, given a word "bank" and a set of contexts for this word, e.g. "bank is a financial institution that accepts deposits" and "river bank is a slope beside a body of water", a participant was asked to cluster such contexts in the unknown in advance number of clusters corresponding to, in this case, the "company" and the "area" senses of the word "bank". For the purpose of this evaluation campaign, we developed three new evaluation datasets based on sense inventories that have different sense granularity. The contexts in these datasets were sampled from texts of Wikipedia, the academic corpus of Russian, and an explanatory dictionary of Russian. Overall, 18 teams participated in the competition submitting 383 models. Multiple teams managed to substantially outperform competitive state-of-the-art baselines from the previous years based on sense embeddings.

研究动机与目标

• 建立首个针对俄语词义消歧（WSI）的大规模共享评估活动，俄语是一种形态丰富且词序自由的斯拉夫语言。
• 在缺乏预定义词义词表的情况下，评估WSI方法在俄语上的表现。
• 基于维基百科、学术语料库和解释性词典，构建并发布三个新的评估数据集，其词义粒度各不相同。
• 在低资源斯拉夫语言上对最先进WSI技术进行基准测试，特别是基于词义嵌入的模型。
• 通过提供俄语WSI的标准化基准，推动多语言自然语言处理的发展。

提出的方法

• 共享任务要求团队在不预先知晓词义数量或定义的情况下，将目标词的上下文聚类为词义簇。
• 构建了三个评估数据集：一个来自维基百科，一个来自学术俄语语料库，一个来自解释性词典，每个数据集具有不同的词义粒度水平。
• 上下文从真实文本中提取，并使用标准自然语言处理工具（包括分词和词形还原）进行预处理。
• 参赛者应用了多种WSI技术，包括基于词义嵌入的聚类、分布语义学方法以及神经网络架构。
• 评估使用标准聚类指标，如调整兰德指数（ARI）和标准化互信息（NMI），以衡量聚类质量。
• 模型在零样本设置下进行训练和评估，即在训练过程中未提供词义词表。

实验结果

研究问题

• RQ1 现有词义消歧方法在形态丰富、词序自由的俄语这种斯拉夫语言上泛化能力如何？
• RQ2 在缺乏先验词义标注的情况下，基于词义嵌入的模型能否在俄语WSI任务中取得优异表现？
• RQ3 训练数据中的词义粒度如何影响俄语WSI系统的性能？
• RQ4 不同文本来源（如维基百科与学术语料库与词典）对WSI性能的相对影响如何？
• RQ5 最先进WSI模型在俄语上相较于以往基线模型的优越程度如何？

主要发现

• 表现最佳的系统在调整兰德指数（ARI）和标准化互信息（NMI）方面均显著优于以往的最先进基线模型。
• 基于词义嵌入的模型在不同数据集和词义粒度水平上均表现出强大的鲁棒性和泛化能力。
• 来自解释性词典的数据集产生了最一致的结果，可能得益于其高质量且人工精心校对的词义区分。
• 基于维基百科数据训练的模型表现良好，但对非正式文本中的噪声和歧义更为敏感。
• 总体而言，18支团队共提交了383个模型，多个团队在至少一个数据集上的ARI得分超过0.7，表明俄语WSI领域取得了显著进展。