[论文解读] ScandEval: A Benchmark for Scandinavian Natural Language Processing

Dan Saattrup Nielsen|arXiv (Cornell University)|Apr 3, 2023

Topic Modeling被引用 5

一句话总结

本文介绍了 ScandEval，一个用于北欧自然语言处理的基准测试框架，该框架通过两个新发布的数据集 ScaLA 和 ScandiQA，在命名实体识别、情感分类、语言可接受性以及问答四个任务上评估了预训练模型。该框架以 Python 包和命令行界面（CLI）的形式实现，支持在 Hugging Face Hub 上对超过 100 个模型进行可复现的基准测试，结果托管于一个交互式在线排行榜。主要发现表明，本土北欧语言（丹麦语、挪威语、瑞典语）之间存在显著的跨语言迁移能力，而向岛屿北欧语言（冰岛语、法罗语）的迁移能力有限，且国家专属模型在性能上优于通用多语言模型（如 XLM-RoBERTa 和 mDeBERTaV3）。

ABSTRACT

This paper introduces a Scandinavian benchmarking platform, ScandEval, which can benchmark any pretrained model on four different tasks in the Scandinavian languages. The datasets used in two of the tasks, linguistic acceptability and question answering, are new. We develop and release a Python package and command-line interface, scandeval, which can benchmark any model that has been uploaded to the Hugging Face Hub, with reproducible results. Using this package, we benchmark more than 100 Scandinavian or multilingual models and present the results of these in an interactive online leaderboard, as well as provide an analysis of the results. The analysis shows that there is substantial cross-lingual transfer among the Mainland Scandinavian languages (Danish, Swedish and Norwegian), with limited cross-lingual transfer between the group of Mainland Scandinavian languages and the group of Insular Scandinavian languages (Icelandic and Faroese). The benchmarking results also show that the investment in language technology in Norway, Sweden and Denmark has led to language models that outperform massively multilingual models such as XLM-RoBERTa and mDeBERTaV3. We release the source code for both the package and leaderboard.

研究动机与目标

• 通过创建针对单语和多语言模型的标准化基准，解决北欧 NLP 领域中模型选择和进展评估日益增长的挑战。
• 开发一个可复现、可访问的评估框架，支持在 Hugging Face Hub 上托管的任意模型。
• 鉴于本土北欧语言与岛屿北欧语言在语言和文化上的相似性与差异性，研究其在跨语言迁移能力上的表现。
• 发布两个全新、高质量的数据集——ScaLA（用于语言可接受性）和 ScandiQA（用于问答）——专门针对本土北欧语言。
• 建立一个交互式在线排行榜，用于追踪和比较丹麦语、挪威语和瑞典语中模型的性能，促进该领域透明的进展追踪。

提出的方法

• 该基准测试使用四个核心 NLP 任务：命名实体识别、情感分类、语言可接受性（ScaLA）和问答（ScandiQA），所有任务均经过统一处理以确保跨语言一致性。
• 开发了新的 Python 包 `scandeval` 和命令行接口（CLI），以实现对 Hugging Face Hub 上任意模型在指定任务上的可复现、自动化的基准测试。
• 所有数据集均已标准化并发布在 Hugging Face Hub 上，以确保在不同模型和语言之间实现一致的评估。
• 通过在不同语言组之间性能差异的 F 统计量评估跨语言迁移能力，比较在某一语言上微调的模型在其他语言上的测试表现。
• 该基准测试支持本土北欧语言（丹麦语、挪威语、瑞典语）和岛屿北欧语言（冰岛语、法罗语），尽管排行榜主要聚焦于本土北欧语言，这是基于观察到的性能趋势。
• 使用标准指标评估模型性能：命名实体识别使用 F1，情感分类使用准确率，问答任务使用精确匹配和 F1，结果在交互式在线排行榜上聚合并可视化。

Figure 1: Plot showing the performance of different models on the AngryTweets dataset with varying number of training samples.

实验结果

研究问题

• RQ1 本土北欧语言（丹麦语、挪威语、瑞典语）之间的跨语言迁移能力在多大程度上存在？
• RQ2 本土北欧语言与岛屿北欧语言（冰岛语、法罗语）之间是否存在显著的跨语言迁移能力？
• RQ3 针对北欧 NLP 任务，国家专属的单语北欧语言模型是否优于通用多语言模型（如 XLM-RoBERTa 和 mDeBERTaV3）？
• RQ4 在低资源环境下，于某一北欧语言上训练的模型在其他北欧语言上的泛化能力如何？
• RQ5 一个具备标准化数据集和可复现评估的统一基准测试框架，是否能提升北欧 NLP 研究中的透明度和进展追踪效率？

主要发现

• 挪威语模型 NB-BERT-large 获得最高总体得分，并在所有三种本土北欧语言中均位列前两名，表明存在强大的跨语言迁移能力。
• 在瑞典语任务上表现最佳的模型是 KB-BERT-large，而在丹麦语任务上领先的是 DFM-encoder-large-v1，两者均优于通用多语言模型（如 XLM-RoBERTa 和 mDeBERTaV3）。
• F 统计量显示，本土北欧语言组内部的跨语言迁移能力最强（丹麦语、挪威语和瑞典语的 F = 33.34），证实了其显著的语言相似性和可迁移性。
• 本土北欧语言与岛屿北欧语言之间的跨语言迁移能力极低，所有涉及两组的组合 F 统计量均低于 10，支持将这两类语言群组视为独立实体。
• 该基准测试表明，挪威、瑞典和丹麦开发的国家专属模型在其对应语言上始终优于大规模多语言模型，表明针对国家语言技术的定向投入能带来更优结果。
• 在线排行榜（https://scandeval.github.io）提供超过 100 个模型的实时、可复现结果，支持社区内透明且标准化的评估。

Figure 2: Boxplot showing the training time of the models on the AngryTweets dataset with varying number of training samples.