[论文解读] The WiLI benchmark dataset for written language identification

Martin Thoma|arXiv (Cornell University)|Jan 23, 2018

Natural Language Processing Techniques参考文献 3被引用 13

一句话总结

本论文介绍了 WiLI-2018，这是一个公开可用的基准数据集，包含 235,000 个短篇 Wikipedia 段落，涵盖 235 种语言，用于单语书面语言识别。该数据集支持语言识别模型的训练与评估，重点关注可复现性与系统性比较，排除人工语言，强调经过 Unicode 正则化的自然语言文本，并确保训练集与测试集之间语言划分的一致性。

ABSTRACT

This paper describes the WiLI-2018 benchmark dataset for monolingual written natural language identification. WiLI-2018 is a publicly available, free of charge dataset of short text extracts from Wikipedia. It contains 1000 paragraphs of 235 languages, totaling in 23500 paragraphs. WiLI is a classification dataset: Given an unknown paragraph written in one dominant language, it has to be decided which language it is.

研究动机与目标

• 提供一个公开可用、可复现的书面语言识别（LID）基准数据集，以支持 LID 模型的系统性评估与公平比较。
• 解决 LID 研究中缺乏公开共享基准数据集的问题，该问题阻碍了研究的可复现性与领域进展。
• 创建一个标准化数据集，实现一致的语言划分（训练集与测试集包含相同语言），以评估模型在已知语言上的泛化能力。
• 排除人工语言或非自然语言（如 HTML、JSON、XML），专注于自然书面语言，包括人造语言与已消亡的语言。
• 支持对多种语言家族及具有挑战性的语言对（如密切相关的语言，例如塞尔维亚语/克罗地亚语/波斯尼亚语；或相似书写系统，如马来语/印度尼西亚语）的模型评估。

提出的方法

• 该数据集由从 Wikipedia 文章中提取的短篇代表性文本段落构建，确保语言多样性并覆盖 235 种语言。
• 每段文本均使用 Unicode 正则化形式 C（NFC）进行预处理，以统一组合字符与变音符号。
• 数据集被划分为训练集与测试集，且语言集合完全相同，避免需要预测未知语言。
• 所选文本旨在代表自然语言，排除代码、标记语言以及社交媒体等非正式语言。
• 数据集每年进行版本更新（如 WiLI-2018），以反映语言演变并确保长期相关性。
• 该基准支持使用准确率与 F1 分数等指标，对多种 LID 模型（包括 n-gram、朴素贝叶斯与神经方法）进行评估。

实验结果

研究问题

• RQ1 现有 LID 系统在大规模、多样化且公开可用的 235 种语言基准上的表现如何？
• RQ2 在 WiLI-2018 上训练的模型在类似但不同的语言上（如巴西葡萄牙语与欧洲葡萄牙语）的泛化能力如何？
• RQ3 不同特征工程策略（如 n-gram、tf-idf、字符级特征）对本数据集上 LID 性能的影响如何？
• RQ4 在 WiLI-2018 上训练的模型能否可靠检测文本是否属于未知语言？如何改进这一能力？
• RQ5 文本长度与训练样本数量如何影响低资源语言与少数语言的 LID 模型性能？

主要发现

• CLD2 是评估中速度最快的 LID 系统，在 WiLI-2018 基准中支持 100 种语言，但容易混淆密切相关的语言，如塞尔维亚语、波斯尼亚语与克罗地亚语。
• Langdetect 在 WiLI-2018 中支持 55 种语言，但对标准中文的召回率仅为 51%，且常将现代标准乌尔都语误判为阿拉伯语。
• 在线服务如 Google Cloud Translation API 与 detectlanguage.com 支持的语言数量超过 WiLI-2018，但存在显著重叠与覆盖不匹配问题。
• 使用 n-gram 与离群度量的 TextCat 系统表现较差，原因在于稀有 n-gram 的问题以及缺乏对书写系统类型的敏感性。
• 与离群度量相比，tf-idf 特征在语言指纹识别中更为有效，因其能更好地捕捉强语言特征（如德语中的 'über'）。
• 未来基于 WiLI-2018 的工作包括评估 RNN、马尔可夫模型，并构建能够区分已知与未知语言的模型，尤其针对低资源与少数语言。