[论文解读] Multilingual Culture-Independent Word Analogy Datasets

Matej Ulčar, Kristiina Vaik+3 more|arXiv (Cornell University)|Nov 22, 2019

Natural Language Processing Techniques被引用 3

一句话总结

本文提出了一项多语言、文化无关的词类比数据集，涵盖九种语言——克罗地亚语、英语、爱沙尼亚语、芬兰语、拉脱维亚语、立陶宛语、俄语、斯洛文尼亚语和瑞典语，旨在减少词嵌入评估中的文化与语言偏见。作者通过翻译与对齐，构建了单语和跨语言类比任务，涵盖15个类别（5个语义类，10个句法/形态类），确保语言间的一致性。使用fastText嵌入进行的初步评估显示，不同语言和类别间的表现存在显著差异，凸显了多语言嵌入模型仍有改进空间。

ABSTRACT

In text processing, deep neural networks mostly use word embeddings as an input. Embeddings have to ensure that relations between words are reflected through distances in a high-dimensional numeric space. To compare the quality of different text embeddings, typically, we use benchmark datasets. We present a collection of such datasets for the word analogy task in nine languages: Croatian, English, Estonian, Finnish, Latvian, Lithuanian, Russian, Slovenian, and Swedish. We redesigned the original monolingual analogy task to be much more culturally independent and also constructed cross-lingual analogy datasets for the involved languages. We present basic statistics of the created datasets and their initial evaluation using fastText embeddings.

研究动机与目标

• 开发一种文化无关的词类比基准，用于多语言词嵌入评估。
• 减少现有类比数据集中存在的文化与语言偏见，特别是以英语和美国为中心的偏见。
• 为九种资源较少和主要的欧洲语言创建兼容的单语和跨语言类比数据集。
• 通过标准化、语言一致的框架，实现对单语和跨语言词嵌入的评估。
• 为多语言和低资源语言嵌入研究提供公开可用的数据集。

提出的方法

• 设计了15种类比类别——5个语义类（如首都、家庭、动物、城市与河流、最高级形容词）和10个句法/形态类（如形容词比较、名词格、副词形成），确保其在语言和文化上的中立性。
• 将数据集的初始斯洛文尼亚语版本翻译为所有九种目标语言，确保语言间语义和语法的一致性。
• 通过在不同语言间配对相同类比类型，构建跨语言类比任务，从而实现对跨语言嵌入映射的评估。
• 使用fastText嵌入进行初步评估，通过检查正确词语是否为向量空间中最近邻来衡量准确率。
• 采用top-n预测（n=3, 5, 10）评估性能，以缓解最近邻选择偏差的问题。
• 将数据集发布在CLARIN存储库，供公众访问与再利用。

实验结果

研究问题

• RQ1 如何设计跨多种语言的文化与语言中立的词类比数据集？
• RQ2 在资源较少的语言中，单语词嵌入在标准化多语言类比基准上的表现如何？
• RQ3 能否在九种形态复杂度各异的欧洲语言间可靠地构建跨语言类比任务？
• RQ4 使用fastText嵌入时，性能在不同类比类别和语言间如何变化？
• RQ5 与仅使用top-1相比，使用top-n最近邻对评估准确率在不同语言中的影响如何？

主要发现

• 该多语言类比数据集涵盖九种语言和15个多样化类比类别，特别强调文化中立性和语言一致性。
• 单语类比任务的表现因语言而异，资源较少的语言如拉脱维亚语和立陶宛亚语的准确率明显低于英语和俄语。
• 在“最高级形容词”类别中，斯洛文尼亚语嵌入常预测语义错误的形式（如预测‘prevelik’而非‘največji’），表明形态泛化存在问题。
• 与仅使用top-1相比，使用top-3、top-5或top-10最近邻显著提升了所有语言的评估得分，减少了性能差异。
• 跨语言类比任务可支持全部72对语言的跨语言映射评估，证明了该数据集在多语言NLP评估中的兼容性。
• 该数据集已通过CLARIN存储库公开，支持可复现的研究与多语言嵌入的基准测试。