[论文解读] SIB-200: A Simple, Inclusive, and Big Evaluation Dataset for Topic Classification in 200+ Languages and Dialects

David Ifeoluwa Adelani, Hannah Liu+6 more|arXiv (Cornell University)|Sep 14, 2023

Natural Language Processing TechniquesComputer Science被引用 3

一句话总结

SIB-200 是一个大规模、开源的基准数据集，用于涵盖 205 种语言和方言的主题分类任务，通过标注 Flores-200 平行语料库中的英语句子并将其标签扩展至其余 204 种语言而构建。评估结果揭示了高资源语言与低资源语言之间存在显著性能差距，尤其在代表性不足的语言家族（如尼罗-闪米特语系、大西洋-刚果语系）以及非洲、美洲、大洋洲和东南亚的语言中表现更为明显。

ABSTRACT

Despite the progress we have recorded in the last few years in multilingual natural language processing, evaluation is typically limited to a small set of languages with available datasets which excludes a large number of low-resource languages. In this paper, we created SIB-200 -- a large-scale open-sourced benchmark dataset for topic classification in 200 languages and dialects to address the lack of evaluation dataset for Natural Language Understanding (NLU). For many of the languages covered in SIB-200, this is the first publicly available evaluation dataset for NLU. The dataset is based on Flores-200 machine translation corpus. We annotated the English portion of the dataset and extended the sentence-level annotation to the remaining 203 languages covered in the corpus. Despite the simplicity of this task, our evaluation in full-supervised setting, cross-lingual transfer setting and prompting of large language model setting show that there is still a large gap between the performance of high-resource and low-resource languages when multilingual evaluation is scaled to numerous world languages. We found that languages unseen during the pre-training of multilingual language models, under-represented language families (like Nilotic and Altantic-Congo), and languages from the regions of Africa, Americas, Oceania and South East Asia, often have the lowest performance on our topic classification dataset. We hope our dataset will encourage a more inclusive evaluation of multilingual language models on a more diverse set of languages. https://github.com/dadelani/sib-200

研究动机与目标

• 解决在多样化、低资源语言中缺乏包容性、大规模的自然语言理解（NLU）评估数据集的问题。
• 构建一个基准，支持超越英语、法语或中文等高资源语言的全面多语言评估。
• 实现对不同语言家族和地理区域模型性能的系统性分析，尤其关注代表性不足的语言。
• 探究预训练阶段的领域多样性与语言覆盖范围对跨语言迁移和零样本泛化的影响。
• 通过提供涵盖 205 种语言的标准化、开源数据集，促进多语言模型的公平评估。

提出的方法

• 利用包含 205 种语言句子对齐文本的 Flores-200 多语言平行语料库构建 SIB-200。
• 采用简单且一致的标注方案，对 Flores-200 中的英语部分进行主题标签标注。
• 通过自动反向翻译与对齐，将句子级别的主题标注扩展至其余 204 种非英语语言。
• 在三种设置下评估模型：全监督微调、跨语言迁移和使用 GPT-4 的零样本提示。
• 应用多语言语言自适应微调（MAFT），利用合成数据提升对先前未见过语言的性能。
• 按语言家族、地区和预训练曝光程度对语言进行分组，比较性能差异，识别系统性不平等。

Figure 1: Heatmap of the performance by Region in each Joshi’s class.

实验结果

研究问题

• RQ1 模型在主题分类任务上的表现如何在 205 种语言间变化，特别是在低资源和代表性不足的语言中？
• RQ2 在预训练期间未见过的语言在多语言 NLU 任务中是否表现出性能下降？
• RQ3 在不增加领域多样性的情况下，仅扩大预训练中的语言数量，是否会导致零样本泛化性能欠佳？
• RQ4 使用合成数据进行多语言语言自适应微调（MAFT）是否能显著提升单语数据少于 10MB 的低资源语言的性能？
• RQ5 从高资源语言进行零样本迁移，与在 205 种多样化语言上提示大型语言模型（如 GPT-4）相比，表现如何？

主要发现

• 代表性不足的语言家族（尤其是尼罗-闪米特语系和大西洋-刚果语系）的语言在 SIB-200 上表现最差，平均准确率低于 60%。
• 在零样本评估中，GPT-4 在 205 种语言中的 132 种（64.7%）上准确率低于 70%，表明其在低资源语言上的泛化能力较差。
• 从仅用英语微调的 XLM-R 模型进行零样本迁移时，在 81 种语言（占总数的 39.3%）上准确率低于 70%，凸显了跨语言迁移的局限性。
• 使用合成数据的 MAFT 将此前未见过的非洲语言的平均准确率提升了最高达 +5%，证明了其在低资源语言适应方面的潜力。
• 在 100 种语言上预训练的 XLM-R 表现优于在 500 种语言上预训练但领域多样性有限的 Glot-500，凸显了预训练中领域混合的重要性。
• 非洲、美洲、大洋洲和东南亚的语言持续表现不佳，尤其在未包含在预训练或微调数据中时。

Figure 2: Fully supervised Model Performance . We group languages by whether they and their scripts are seen in the pre-training corpus of XLM-R. Languages are ordered by the XLM-R performance in every group.