[论文解读] What Language Model to Train if You Have One Million GPU Hours?

Teven Le Scao, Thomas J. Wang+17 more|arXiv (Cornell University)|Oct 27, 2022

Topic Modeling被引用 6

一句话总结

本文在固定100万A100-GPU小时预算下，研究了1000亿参数以上多语言语言模型的最优架构与训练选择。通过在13亿参数规模上进行消融实验，发现使用多样且高质量的语料（如The Pile）进行预训练能显著提升零样本泛化能力；同时发现多语言模型表现出独特的语言特定缩放规律，据此指导了最终1760亿参数BLOOM架构的设计，并开源了模型与代码。

ABSTRACT

The crystallization of modeling methods around the Transformer architecture has been a boon for practitioners. Simple, well-motivated architectural variations can transfer across tasks and scale, increasing the impact of modeling research. However, with the emergence of state-of-the-art 100B+ parameters models, large language models are increasingly expensive to accurately design and train. Notably, it can be difficult to evaluate how modeling decisions may impact emergent capabilities, given that these capabilities arise mainly from sheer scale alone. In the process of building BLOOM--the Big Science Large Open-science Open-access Multilingual language model--our goal is to identify an architecture and training setup that makes the best use of our 1,000,000 A100-GPU-hours budget. Specifically, we perform an ablation study at the billion-parameter scale comparing different modeling practices and their impact on zero-shot generalization. In addition, we study the impact of various popular pre-training corpora on zero-shot generalization. We also study the performance of a multilingual model and how it compares to the English-only one. Finally, we consider the scaling behaviour of Transformers to choose the target model size, shape, and training setup. All our models and code are open-sourced at https://huggingface.co/bigscience .

研究动机与目标

• 在固定100万A100-GPU小时预算下，确定1000亿参数以上多语言语言模型的最优架构与训练设置。
• 评估架构选择（如位置编码、激活函数和归一化方法）对13亿参数规模下零样本泛化能力的影响。
• 评估预训练语料多样性与质量对模型泛化性能的影响。
• 研究多语言环境下的缩放行为，识别语言特定的缩放规律。
• 通过系统性消融与缩放分析，指导最终1760亿参数BLOOM模型的设计。

提出的方法

• 在13亿参数的GPT-2风格解码器-only Transformer上进行受控消融实验，评估激活函数、归一化方法和位置编码等架构组件的影响。
• 使用EAI Harness套件在20个多样化的自然语言处理基准上评估零样本泛化性能。
• 对比在多样语料（如The Pile、C4和OSCAR v1）上进行预训练的效果，以识别语料构成对模型性能的影响。
• 通过训练仅英语和多语言模型，分析多语言缩放行为，并按语言测量性能表现。
• 使用幂律缩放拟合（αC ≈ 0.046）外推，估算最终1760亿参数模型的最优模型尺寸与预训练token数量。

实验结果

研究问题

• RQ1 哪种预训练语料能为13亿参数模型带来最佳的零样本泛化性能？
• RQ2 激活函数、归一化方法和位置编码等架构组件如何影响零样本泛化能力？
• RQ3 多语言性对模型缩放行为与性能有何影响？
• RQ4 英语单语模型与多语言模型的缩放规律有何差异？
• RQ5 在固定100万A100-GPU小时预算下，最优模型尺寸与预训练数据规模为何？

主要发现

• 在13亿参数模型中，使用The Pile这一多样且高质量的语料进行预训练，实现了最高的零样本泛化准确率（47.09%），优于C4与OSCAR v1。
• 在The Pile上预训练的多语言模型实现了47.09%的零样本泛化准确率，显著优于在同一语料上训练的英语单语基线模型。
• 研究发现，多语言模型表现出独特的语言特定缩放规律，性能在不同语言间因预训练数据分布而异。
• 观察到幂律缩放系数αC ≈ 0.046，该系数可准确估算出最终1760亿参数BLOOM模型的最优模型尺寸与预训练数据规模。
• 架构选择如GELU激活函数、RMSNorm与旋转位置编码有助于提升性能，其中RMSNorm在泛化能力方面表现尤为突出。
• 最终BLOOM模型基于上述发现设计，所有模型、代码与会议笔记均已开源至Hugging Face。