[论文解读] NADI 2021: The Second Nuanced Arabic Dialect Identification Shared Task

Muhammad Abdul-Mageed, Chiyu Zhang+3 more|arXiv (Cornell University)|Mar 4, 2021

Natural Language Processing Techniques被引用 46

一句话总结

本文报道了 NADI 2021 共享任务，包含四个子任务（国家级 MSA/DA 和省级 MSA/DA），覆盖 21 个阿拉伯国家的 100 个省份，详细描述数据集构建、评估、参与团队及结果。

ABSTRACT

We present the findings and results of the Second Nuanced Arabic Dialect Identification Shared Task (NADI 2021). This Shared Task includes four subtasks: country-level Modern Standard Arabic (MSA) identification (Subtask 1.1), country-level dialect identification (Subtask 1.2), province-level MSA identification (Subtask 2.1), and province-level sub-dialect identification (Subtask 2.2). The shared task dataset covers a total of 100 provinces from 21 Arab countries, collected from the Twitter domain. A total of 53 teams from 23 countries registered to participate in the tasks, thus reflecting the interest of the community in this area. We received 16 submissions for Subtask 1.1 from five teams, 27 submissions for Subtask 1.2 from eight teams, 12 submissions for Subtask 2.1 from four teams, and 13 Submissions for subtask 2.2 from four teams.

研究动机与目标

• 通过在国家级和省级层面对 MSA 与方言内容进行分离，推进对阿拉伯方言精细变异的理解。
• 提供一个公开可用的基于 Twitter 的数据集，覆盖 21 个国家和 100 个省份，用于四个方言识别子任务。
• 在标准化、公平的竞赛约束下评估多种建模方法。
• 鼓励在阿拉伯语区跨社交媒体文本中发展鲁棒的方言识别方法。

提出的方法

• 将四个子任务按分类水平（国家级和省级）和语言变体（MSA 和 DA）划分。
• 数据于 2019 年在 Twitter 上收集，覆盖 21 个国家和 100 个省份，历时 10 个月；推文按用户位置标注，以作为国家/省份变体的代理。
• 参与者收到标注的 TRAIN/DEV 和未标注的 10M 推文数据；TEST 标签被保留用于官方评分。
• Macro-F1 是官方评估指标；同时报告 macro-precision、macro-recall 以及 accuracy。
• 参与者被限制使用提供的数据；每个子任务允许五次提交；CodaLab 提供评测和透明度。
• 基线系统包括多数类基线和微调的 mBERT 基线（最大序列长度 64，20 轮）。
• 顶尖系统主要利用针对阿拉伯方言定制的基于 Transformer 的模型（如 MARBERT、AraBERT），结合微调和 adapters；部分团队使用具备特征工程和集成的传统机器学习方法。

实验结果

研究问题

• RQ1 在 Twitter 数据下，机器学习模型是否能够在国家级和省级层面区分 Modern Standard Arabic (MSA) 与 dialectal Arabic (DA)？
• RQ2 在 21 个国家和 100 个省份中，模型在 MSA 与 DA 的国家级与省级语言变体识别方面的表现如何？
• RQ3 对于 MSA 和 DA，国家级分类与更细粒度的省级分类之间的性能差距是多少？
• RQ4 在共享任务约束下，哪种建模方法（Transformers、神经网络、经典机器学习）在子国家层面的方言识别中表现最佳？

主要发现

• 子任务 1.1（国家级 MSA）顶尖系统达到 22.38 macro-F1。
• 子任务 1.2（国家级 DA）顶尖系统达到 32.26 macro-F1。
• 子任务 2.1（省级 MSA）顶尖系统达到 6.43 macro-F1。
• 子任务 2.2（省级 DA）顶尖系统达到 8.60 macro-F1。
• 基线 mBERT 在 Subtask 1.1 上达到 14.15 macro-F1，在 Subtask 1.2 上达到 18.02，在 Subtask 2.1 上达到 3.39，在 Subtask 2.2 上达到 4.08。