[论文解读] Pre-trained Transformer-Based Approach for Arabic Question Answering : A Comparative Study

Kholoud Alsubhi, Amani Jamal+1 more|arXiv (Cornell University)|Nov 10, 2021

Topic Modeling被引用 10

一句话总结

本研究通过微调和超参数优化，在四个阿拉伯语阅读理解数据集——Arabic-SQuAD、ARCD、AQAD 和 TyDiQA-GoldP 上评估了 AraBERTv2-base、AraBERTv0.2-large 和 AraELECTRA 模型。AraBERTv0.2-large 模型在 TyDiQA-GoldP 上表现最佳，而数据集质量以及数据污染（例如非阿拉伯语文本）被识别为影响模型性能的关键因素。

ABSTRACT

Question answering(QA) is one of the most challenging yet widely investigated problems in Natural Language Processing (NLP). Question-answering (QA) systems try to produce answers for given questions. These answers can be generated from unstructured or structured text. Hence, QA is considered an important research area that can be used in evaluating text understanding systems. A large volume of QA studies was devoted to the English language, investigating the most advanced techniques and achieving state-of-the-art results. However, research efforts in the Arabic question-answering progress at a considerably slower pace due to the scarcity of research efforts in Arabic QA and the lack of large benchmark datasets. Recently many pre-trained language models provided high performance in many Arabic NLP problems. In this work, we evaluate the state-of-the-art pre-trained transformers models for Arabic QA using four reading comprehension datasets which are Arabic-SQuAD, ARCD, AQAD, and TyDiQA-GoldP datasets. We fine-tuned and compared the performance of the AraBERTv2-base model, AraBERTv0.2-large model, and AraELECTRA model. In the last, we provide an analysis to understand and interpret the low-performance results obtained by some models.

研究动机与目标

• 评估最先进的预训练阿拉伯语 Transformer 模型在问答任务中的表现。
• 探究数据集规模和质量对阿拉伯语问答任务中模型性能的影响。
• 通过优化初始学习率和训练轮次等超参数，提升模型性能。
• 利用基于梯度的解释技术分析模型行为，提升可解释性。
• 在包括 Arabic-SQuAD、ARCD、AQAD 和 TyDiQA-GoldP 在内的多个基准数据集上，对比微调后的模型表现。

提出的方法

• 在四个阿拉伯语问答数据集（Arabic-SQuAD、ARCD、AQAD 和 TyDiQA-GoldP）上微调 AraBERTv2-base、AraBERTv0.2-large 和 AraELECTRA 模型。
• 将所有数据集合并进行联合微调，以评估更大规模训练数据的影响。
• 针对每种模型优化超参数，包括初始学习率和训练轮次。
• 使用基于梯度的解释方法，可视化输入标记上的注意力机制和模型决策过程。
• 采用标准 NLP 指标评估模型性能：精确匹配（EM）和 F1 分数（跨度预测）。
• 分析不同数据集间的性能差异，特别关注数据质量及语言污染（例如非阿拉伯语文本）的影响。

实验结果

研究问题

• RQ1 AraBERTv2-base、AraBERTv0.2-large 和 AraELECTRA 在多样化阿拉伯语问答数据集上的表现如何？
• RQ2 数据集质量与规模对阿拉伯语问答任务中模型性能有何影响？
• RQ3 在多个数据集上进行联合微调如何影响模型的泛化能力和性能表现？
• RQ4 为何某些模型在 ARCD 和 AQAD 等特定数据集上表现欠佳？
• RQ5 基于梯度的解释方法能否揭示模型在阿拉伯语问答任务中的行为模式与注意力机制？

主要发现

• AraBERTv0.2-large 在 TyDiQA-GoldP 数据集上取得了 86.49 的最高 F1 分数，优于其他模型及先前研究工作。
• 在 ARCD 数据集上，该模型取得了 75.14 的 F1 分数，性能提升归因于数据质量更高、噪声更少。
• AQAD 数据集在所有模型上均表现较低（F1: 67.40），表明可能存在数据质量或标注问题。
• 在 ARCD 数据集上，Arabic-ALBERT-xlarge 模型的 EM 略高于 AraBERTv0.2-large（71.12 vs 70.38），表明模型架构差异具有重要影响。
• 梯度解释显示，AraBERTv0.2-large 在 TyDiQA-GoldP 上能正确关注相关文本跨度，但在 AQAD 上表现失败，表明其在低质量数据上存在困惑。
• Arabic-SQuAD 和 ARCD 上表现不佳的原因与训练样本中的翻译伪影及非阿拉伯语文本有关，这些因素引入了子词和字符级别的噪声。