[论文解读] ParsiNLU: A Suite of Language Understanding Challenges for Persian

Daniel Khashabi, Arman Cohan+23 more|arXiv (Cornell University)|Dec 11, 2020

Topic Modeling参考文献 73被引用 7

一句话总结

ParsiNLU 引入了首个针对波斯语理解的综合性基准，包含六个高级自然语言理解任务——阅读理解、多项选择问答、文本蕴涵、情感分析、问题重述和机器翻译，这些任务通过母语者标注和多样化的数据收集方法构建而成。尽管大型多语言模型（如 mT5-XL）表现强劲，但大多数模型在人类表现上仍显著落后，尤其是在需要推理的任务上，凸显了波斯语 NLU 领域的巨大差距，也表明仅靠数据扩展无法解决该问题，亟需更先进的模型架构。

ABSTRACT

Despite the progress made in recent years in addressing natural language understanding (NLU) challenges, the majority of this progress remains to be concentrated on resource-rich languages like English. This work focuses on Persian language, one of the widely spoken languages in the world, and yet there are few NLU datasets available for this rich language. The availability of high-quality evaluation datasets is a necessity for reliable assessment of the progress on different NLU tasks and domains. We introduce ParsiNLU, the first benchmark in Persian language that includes a range of high-level tasks -- Reading Comprehension, Textual Entailment, etc. These datasets are collected in a multitude of ways, often involving manual annotations by native speakers. This results in over 14.5$k$ new instances across 6 distinct NLU tasks. Besides, we present the first results on state-of-the-art monolingual and multi-lingual pre-trained language-models on this benchmark and compare them with human performance, which provides valuable insights into our ability to tackle natural language understanding challenges in Persian. We hope ParsiNLU fosters further research and advances in Persian language understanding.

研究动机与目标

• 为解决波斯语这一广泛使用但资源匮乏的语言所面临的高质量 NLU 基准稀缺问题。
• 为波斯语中多样化的高级 NLP 任务（包括问题重述和阅读理解等新任务）建立标准化的评估框架。
• 提供人类性能上限分数，以校准模型表现并指导未来研究。
• 评估单语和多语言预训练模型在波斯语 NLU 任务上的有效性。
• 通过发布一个涵盖多样化数据收集策略的全面、高质量基准，推动波斯语 NLU 领域的研究。

提出的方法

• 使用母语波斯语者进行标注，构建六个不同的 NLU 任务，确保语言和文化的相关性。
• 通过多样化的方法收集数据，包括搜索引擎自动补全、过往大学入学考试题以及人工整理，以确保数据的多样性和质量。
• 采用最先进的单语和多语言模型（如 mT5、RoBERTa）在波斯语数据上进行微调，以进行评估。
• 通过母语者共识报告人类性能上限分数，以建立可靠的性能基准。
• 通过消融研究比较仅在波斯语、仅在英语或同时在两种语言上训练的模型，以评估模型的迁移能力。
• 结合自动指标与人工评估，以验证数据集质量和任务的一致性。

实验结果

研究问题

• RQ1 当前最先进的单语和多语言模型在波斯语中多样化的高级 NLU 任务上的表现如何？
• RQ2 人类专家与机器模型在波斯语 NLU 任务上的表现差距有多大，尤其是在需要推理的任务上？
• RQ3 英语预训练模型在多大程度上能泛化到波斯语 NLU 任务？在英语和波斯语数据上联合训练是否能提升性能？
• RQ4 通过新颖的数据收集技术，能否在数据质量、覆盖范围或评估范围方面改进现有的波斯语 NLU 数据集？
• RQ5 为缩小复杂波斯语 NLU 任务中模型与人类之间的性能差距，需要哪些架构或训练方面的改进？

主要发现

• 人类在 ParsiNLU 任务上的表现普遍很高，上限分数表明母语者之间达成高度共识，数据集质量优异。
• 大多数最先进模型，尤其是中等规模模型，在多项选择问答任务上与人类相比存在超过 40% 的性能差距，表现显著落后。
• 最大模型 mT5-XL 在问题重述任务上接近人类水平，但在其他任务上仍落后，表明仅靠模型规模不足以解决问题。
• 多语言模型（如 mT5）在从英语到波斯语的零样本迁移上表现强劲，尤其在源自英语数据集（如 MNLI 和 QQP）的任务上。
• 在英语和波斯语数据上联合训练可提升大多数任务的性能，但收益并非必然，因为模型优势可能存在冲突。
• 在“数学与逻辑”和“文学”类问题上的表现不佳，表明当前模型在多跳推理和抽象理解方面存在困难，反映出模型架构的局限性，而不仅仅是数据规模的问题。