[论文解读] NoCoLA: The Norwegian Corpus of Linguistic Acceptability

Matias Jentoft, David Samuel|arXiv (Cornell University)|Jun 13, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本文介绍了NoCoLA，一个用于评估博克莫尔语语言模型语法可接受性的新挪威语语料库，包含两个数据集：用于监督二元分类的NoCoLA class，以及用于零样本语法判断的NoCoLA zero。主要贡献在于构建了一个基准测试，揭示了挪威语模型在理解语法方面的优劣势，其中NorBERT 3 large在NoCoLA class上达到最高准确率（82.48%）和60.96%的MCC，而较小的模型如NorBERT 1在零样本任务中反而优于更大的模型。

ABSTRACT

While there has been a surge of large language models for Norwegian in recent years, we lack any tool to evaluate their understanding of grammaticality. We present two new Norwegian datasets for this task. NoCoLA_class is a supervised binary classification task where the goal is to discriminate between acceptable and non-acceptable sentences. On the other hand, NoCoLA_zero is a purely diagnostic task for evaluating the grammatical judgement of a language model in a completely zero-shot manner, i.e. without any further training. In this paper, we describe both datasets in detail, show how to use them for different flavors of language models, and conduct a comparative study of the existing Norwegian language models.

研究动机与目标

• 为解决缺乏针对挪威语语言模型语法理解的标准化评估工具的问题。
• 创建一个基于语言学的语料库，反映第二语言学习者自然产生的错误，而非人为构造的示例。
• 支持挪威语语言模型的微调分类与零样本诊断评估。
• 提供一个基准，用于识别模型在特定错误类型（如词形变化、选词、格一致）上的弱点。
• 发布数据与代码，以支持挪威语自然语言处理模型的持续评估与开发。

提出的方法

• NoCoLA class是一个二元分类数据集，包含10,600个句子，分为可接受与不可接受两类，专为语言模型的监督微调而设计。
• NoCoLA zero是一个零样本诊断任务，使用最小对立对，模型需为两个句子（一个正确，一个错误）分配概率，以评估其内在的语法判断能力。
• 该语料库基于错误标注的学习者语料库（如SweLL）构建，聚焦于选词、屈折变化和句法中的自然错误。
• 评估使用标准指标：NoCoLA class使用准确率和马修斯相关系数（MCC），NoCoLA zero使用零样本准确率。
• 对于掩码语言模型，使用伪对数似然（PLL）来估计句子概率：$\textrm{PLL}(\bm{s}) = \frac{1}{N}\sum_{t=1}^{N}{\textrm{log}\,p(\bm{s}_{t}|\bm{s}_{\setminus t};\theta)}$。
• 通过在不同错误类型上评估模型，实现对模型在特定语言现象上表现的细粒度分析。

实验结果

研究问题

• RQ1 现有挪威语语言模型在博克莫尔语中区分可接受与不可接受句子的能力如何？
• RQ2 NoCoLA zero上的零样本性能是否比微调分类更能可靠地衡量模型的内在语法理解能力？
• RQ3 哪些错误类型（如选词、屈折变化、格一致）暴露了当前挪威语语言模型的特定弱点？
• RQ4 模型规模与可接受性判断任务性能之间是否存在相关性？
• RQ5 NoCoLA能否作为未来挪威语自然语言处理模型开发与评估的标准化基准？

主要发现

• NorBERT 3 large在NoCoLA class上达到最高准确率82.48%，马修斯相关系数为60.96%，表明其在分类任务上表现优异。
• 出人意料的是，NorBERT 1在NoCoLA zero上表现优于更大的模型，准确率达到90%，表明更小但更干净的预训练语料可能提升零样本语法判断能力。
• 模型规模的增加并未一致提升零样本性能，表明参数量本身并不能保证更好的语法理解能力。
• NB-BERT large模型在标点符号相关错误上表现尤为薄弱，可能因其训练数据为全小写，影响了对大小写的敏感性。
• ScandiBERT在大多数错误类型上的表现与挪威语专用模型相当，但在拼写错误上明显较弱，凸显了其领域特定的局限性。
• 结果表明，NoCoLA支持细粒度的错误分析，特定错误类型的低分可作为模型训练数据或分词问题的诊断指标。