[论文解读] On the Multilingual Capabilities of Very Large-Scale English Language Models

Jordi Armengol-Estapé, Ona De Gibert Bonet+1 more|arXiv (Cornell University)|Aug 30, 2021

Topic Modeling被引用 4

一句话总结

本文研究了 GPT-3（一种大规模单语英语语言模型）在零样本多语言设置下的能力，重点关注加泰罗尼亚语——该语言在训练数据中仅占 0.01798%。尽管暴露极少，GPT-3 在自然语言生成和抽取式问答任务中均表现出色，最大模型变体的 F1 得分达到 65.8%，表明即使在低资源环境下，其跨语言迁移能力依然显著。

ABSTRACT

Generative Pre-trained Transformers (GPTs) have recently been scaled to unprecedented sizes in the history of machine learning. These models, solely trained on the language modeling objective, have been shown to exhibit outstanding few-shot learning capabilities in a number of different tasks. Nevertheless, aside from anecdotal experiences, little is known regarding their multilingual capabilities, given the fact that the pre-training corpus is almost entirely composed of English text. In this work, we investigate the multilingual skills of GPT-3, focusing on one language that barely appears in the pre-training corpus, Catalan, which makes the results especially meaningful; we assume that our results may be relevant for other languages as well. We find that the model shows an outstanding performance, particularly in generative tasks, with predictable limitations mostly in language understanding tasks but still with remarkable results given the zero-shot scenario. We investigate its potential and limits in extractive question-answering and natural language generation, as well as the effect of scale in terms of model size.

研究动机与目标

• 评估 GPT-3 在加泰罗尼亚语等低资源语言中的零样本多语言能力，该语言在预训练语料库中仅占 0.01798%。
• 评估极大规模英语语言模型是否能在无需微调或显式多语言预训练的情况下泛化至其他语言。
• 研究模型规模对自然语言理解与生成任务中跨语言迁移性能的影响。
• 探索 GPT-3 在非英语语言中的实际可用性，特别是计算成本与分词效率低下等问题。

提出的方法

• 本研究通过零样本提示方式，在多个模型尺寸（text-davinci-002、text-curie-001 等）上评估 GPT-3 在加泰罗尼亚语中的问答与文本生成任务。
• 对于抽取式问答任务，模型接收上下文与问题配对作为提示，预测结果通过 F1 与精确匹配分数进行评估。
• 对于自然语言生成任务，GPT-3 接收标题或部分句子作为提示，生成连贯的加泰罗尼亚语文本，随后通过人工标注在五分制量表上进行评估。
• 人工评估每一样本由三位标注员完成以确保可靠性，统计显著性通过 t 检验验证。
• 分析将 GPT-3 的表现与人工撰写的对照组进行对比，重点关注流利度、连贯性与语义准确性。
• 绘制缩放曲线以分析模型规模与零样本跨语言迁移性能之间的关系。

实验结果

研究问题

• RQ1 尽管在预训练数据中占比极低，GPT-3 是否仍能在加泰罗尼亚语中实现零样本自然语言理解与生成？
• RQ2 模型规模如何影响 GPT-3 在低资源语言零样本多语言任务中的性能表现？
• RQ3 GPT-3 在加泰罗尼亚语中的表现与人工生成文本相比，在流利度与连贯性方面如何？
• RQ4 GPT-3 在加泰罗尼亚语输出中存在哪些主要失败模式与错误模式？
• RQ5 语言相似性与语言结构普遍性在多大程度上可以解释 GPT-3 中观察到的跨语言迁移现象？

主要发现

• 使用最大模型变体（text-davinci-002）时，GPT-3 在加泰罗尼亚语抽取式问答任务中达到 65.8% 的 F1 得分，表明其具备强大的零样本自然语言理解能力。
• 在自然语言生成任务中，GPT-3 输出的平均人工评估得分为 3.83/5，显著低于人工对照组的 4.49（p = 0.00026），但考虑到零样本设置，该得分仍属较高水平。
• 尽管平均得分较低，33.33% 的 GPT-3 生成句子得分高于人工对照组平均值，且 21.6% 的句子语法正确但语义上具有独特性。
• 当使用具有地域特征的标题进行提示时，该模型在生成瓦伦西亚语变体加泰罗尼亚语方面表现出显著一致性，表明其隐式适应了方言差异。
• 缩放曲线显示，即使加泰罗尼亚语的预训练数据量保持不变，模型规模增大仍带来性能的显著提升，表明跨语言迁移中存在强烈的缩放规律。
• 由于分词效率低下与序列长度过长，较小的 GPT-3 变体在加泰罗尼亚语任务中计算成本过高，难以实用化，凸显了低资源语言中的关键瓶颈。