[论文解读] Revisiting Pre-trained Language Models and their Evaluation for Arabic Natural Language Understanding

Abbas Ghaddar, Yimeng Wu+12 more|arXiv (Cornell University)|May 21, 2022

Topic Modeling被引用 6

一句话总结

本文通过改进数据过滤、字符级建模和更大参数量的架构扩展，提出了改进的阿拉伯语预训练语言模型——JABER、Char-JABER、SABER、AT5S 和 AT5B，在 ALUE 基准和生成任务上实现了最先进（SOTA）性能，人工评估进一步证实其输出质量优于现有模型。

ABSTRACT

There is a growing body of work in recent years to develop pre-trained language models (PLMs) for the Arabic language. This work concerns addressing two major problems in existing Arabic PLMs which constraint progress of the Arabic NLU and NLG fields.First, existing Arabic PLMs are not well-explored and their pre-trainig can be improved significantly using a more methodical approach. Second, there is a lack of systematic and reproducible evaluation of these models in the literature. In this work, we revisit both the pre-training and evaluation of Arabic PLMs. In terms of pre-training, we explore improving Arabic LMs from three perspectives: quality of the pre-training data, size of the model, and incorporating character-level information. As a result, we release three new Arabic BERT-style models ( JABER, Char-JABER, and SABER), and two T5-style models (AT5S and AT5B). In terms of evaluation, we conduct a comprehensive empirical study to systematically evaluate the performance of existing state-of-the-art models on ALUE that is a leaderboard-powered benchmark for Arabic NLU tasks, and on a subset of the ARGEN benchmark for Arabic NLG tasks. We show that our models significantly outperform existing Arabic PLMs and achieve a new state-of-the-art performance on discriminative and generative Arabic NLU and NLG tasks. Our models and source code to reproduce of results will be made available shortly.

研究动机与目标

• 为解决阿拉伯语预训练语言模型（PLM）预训练中数据质量、模型规模和字符级建模等未被充分探索的改进方法。
• 通过在标准化基准上开展全面的实证研究，克服阿拉伯语自然语言理解（NLU）中系统性与可复现性评估的不足。
• 开发并发布新的基于 BERT 和 T5 架构的阿拉伯语模型，使其在判别式与生成式阿拉伯语 NLU 任务上超越现有最先进模型。
• 倡导建立高质量、基于排行榜的基准测试集，采用私有测试集以确保阿拉伯语 NLP 领域评估的可靠性与可复现性。

提出的方法

• 使用高质量、经筛选的阿拉伯语文本数据（115GB）对 JABER 进行预训练，通过字节对编码（BBPE）改进归一化与分词，性能优于现有 BERT 风格模型。
• 通过引入字符级表征，将 JABER 扩展为 Char-JABER，以更好地捕捉阿拉伯语的形态复杂性。
• 扩展为 SABER，一个参数量达 369M 的 BERT-large 模型，采用增强架构与训练数据，在序列分类任务上表现更优。
• 对两个 T5 风格模型（AT5S，小规模；AT5B，基础规模）进行预训练，用于序列到序列任务，使用精选的阿拉伯语文本与优化的训练流程。
• 在 ALUE（阿拉伯语 NLU 排行榜）和 ARGEN（阿拉伯语 NLG 基准）上开展系统性评估，包含多次运行与超参数调优，以确保可复现性。
• 在三个生成任务（QG、EMD、TS）上由母语者进行人工评估，以验证模型输出质量，超越 BLEU 和 ROUGE 等自动指标的局限。

实验结果

研究问题

• RQ1 提升预训练数据质量、模型规模与字符级建模，对阿拉伯语 BERT 风格 PLM 在 NLU 任务上的性能有何影响？
• RQ2 为何基于 T5 的阿拉伯语模型在 ALUE 基准上表现不如基于 BERT 的模型，尽管其在英文任务上表现强劲？
• RQ3 BLEU 和 ROUGE 等自动指标在评估阿拉伯语生成模型时，与人类判断的相关性如何？
• RQ4 与仅依赖排行榜的评估相比，通过超参数调优与多次运行的系统性评估，如何影响模型排名？
• RQ5 数据筛选与归一化对阿拉伯语 PLM 的鲁棒性与泛化能力有何影响？

主要发现

• JABER 在 ALUE 排行榜上比最佳现有阿拉伯语 PLM 基线高出 1.5%，证明了高质量、经筛选的预训练数据的重要影响。
• Char-JABER 通过利用字符级表征在 ALUE 上实现进一步性能提升，尤其在形态丰富的阿拉伯语中优势显著。
• SABER 作为参数量达 369M 的 BERT-large 模型，在 ALUE 基准上创下新 SOTA，证实了模型规模在阿拉伯语 NLU 中的益处。
• AT5B 在生成任务（QG、EMD、TS）上达到 SOTA，自动评估与人工评估均优于 AraT5-base，在 EMD 任务上人工评估接受率达 53%。
• 人工评估显示，BLEU 等自动指标（如 EMD 上的 2.0）严重低估模型质量，尽管 n-gram 重叠度低，人类标注者仍认为 AT5B 在 53%–65% 的情况下为最佳。
• 开发集上的性能排名与排行榜测试集存在显著差异，凸显了采用私有测试集与多次运行进行系统性评估的必要性，以确保评估的可靠性。