[论文解读] This is the way: designing and compiling LEPISZCZE, a comprehensive NLP benchmark for Polish

Łukasz Augustyniak, Kamil Tagowski+10 more|arXiv (Cornell University)|Nov 23, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本文介绍了 LEPISZCZE，一个针对波兰语的全面 NLP 基准测试，它在 KLEJ 基准测试的基础上扩展了八个新数据集，并支持对 13 个任务-数据集对在 13 种近期波兰语语言模型上的灵活、可版本控制的评估。该基准测试支持可复现的大规模模型评估，完整追踪代码、超参数和实验环境，为低资源语言构建类似基准测试提供了蓝图。

ABSTRACT

The availability of compute and data to train larger and larger language models increases the demand for robust methods of benchmarking the true progress of LM training. Recent years witnessed significant progress in standardized benchmarking for English. Benchmarks such as GLUE, SuperGLUE, or KILT have become de facto standard tools to compare large language models. Following the trend to replicate GLUE for other languages, the KLEJ benchmark has been released for Polish. In this paper, we evaluate the progress in benchmarking for low-resourced languages. We note that only a handful of languages have such comprehensive benchmarks. We also note the gap in the number of tasks being evaluated by benchmarks for resource-rich English/Chinese and the rest of the world. In this paper, we introduce LEPISZCZE (the Polish word for glew, the Middle English predecessor of glue), a new, comprehensive benchmark for Polish NLP with a large variety of tasks and high-quality operationalization of the benchmark. We design LEPISZCZE with flexibility in mind. Including new models, datasets, and tasks is as simple as possible while still offering data versioning and model tracking. In the first run of the benchmark, we test 13 experiments (task and dataset pairs) based on the five most recent LMs for Polish. We use five datasets from the Polish benchmark and add eight novel datasets. As the paper's main contribution, apart from LEPISZCZE, we provide insights and experiences learned while creating the benchmark for Polish as the blueprint to design similar benchmarks for other low-resourced languages.

研究动机与目标

• 解决当前缺乏针对低资源语言（如波兰语）的全面、标准化 NLP 基准测试的问题，这些语言目前在多样性与严谨性方面仍远不及英语和中文基准测试。
• 克服因超参数不一致、协议不明确和代码质量差导致的 NLP 模型评估可复现性问题。
• 设计一个灵活、可扩展的基准测试框架，支持新模型、新数据集和新任务的便捷集成，具备数据版本控制和模型追踪功能。
• 提供一个可扩展的、生产级的评估环境，能够处理数千次模型实验，完整记录实验溯源与指标日志。
• 基于 LEPISZCZE 开发过程中的经验教训，建立一个可复用于其他低资源语言的、类似全面基准测试的可重用蓝图。

提出的方法

• 设计一个模块化、基于 API 的基准测试框架，将多样化的 NLP 任务和数据集统一为一个单一的、可版本控制的接口。
• 整合五个现有的波兰语基准测试数据集（来自 KLEJ），并在此基础上扩展八个新颖的、高质量的数据集，覆盖多样化的 NLP 任务。
• 通过元数据日志记录模型代码、超参数、数据集版本和训练环境，实现端到端的实验追踪。
• 使用一致的指标（例如加权精确率、召回率）和五折模型重训练，标准化各任务的评估协议，以提升鲁棒性。
• 采用模块化流水线设计，支持新模型和新数据集的即插即用式集成，确保框架的可扩展性与长期可维护性。
• 借鉴 GLUE、SuperGLUE 和 KILT 的最佳实践，确保方法论的严谨性，并与现有成熟基准测试保持可比性。

实验结果

研究问题

• RQ1 如何为像波兰语这样此前标准化程度较低的低资源语言设计一个全面且可扩展的 NLP 基准测试？
• RQ2 在低资源环境下，引入多样化、高质量的数据集在多大程度上能提升模型评估的可靠性与代表性？
• RQ3 一个统一的、可版本控制的基准测试框架是否能够支持对数千种模型变体的可复现、大规模评估，并完整记录实验溯源？
• RQ4 当前最先进的波兰语语言模型在广泛的 NLP 任务中表现如何？其相对排名能揭示哪些关键洞察？
• RQ5 在构建低资源语言的生产级基准测试过程中，面临的主要挑战与经验教训是什么？这些经验能否推广至其他语言？

主要发现

• LEPISZCZE 在 13 种近期波兰语语言模型上成功评估了 13 个任务-数据集对，超过 6,000 次模型实验均完整追踪了代码、超参数和指标。
• HerBERT（大模型，大小写敏感）在所有任务中平均排名最高（1.31），优于其他模型（包括 PolBERT 和 XLM-RoBERTa）在多数基准测试中的表现。
• 基准测试揭示了在低资源任务（如标点符号恢复，最佳 F1 为 76.80，以及对话行为识别（WIP））上存在显著性能差距，表明仍有改进空间。
• HerBERT（基础模型，大小写敏感）在 CDSC-E（一项复杂文本分类任务）上实现了最高的加权精确率（93.98±0.36），展现出强大的泛化能力。
• PolEmo 2.0 Out-Domain 在所有模型中表现出最大的性能下降，表明领域偏移仍是情感分析中的关键挑战。
• 基准测试的模块化设计实现了新模型和新数据集的无缝集成，工程开销极小，验证了其作为其他语言可复用蓝图的可扩展性。