[论文解读] PaLM: Scaling Language Modeling with Pathways

Aakanksha Chowdhery, Sharan Narang+65 more|arXiv (Cornell University)|Apr 5, 2022

Topic Modeling被引用 2,124

一句话总结

PaLM 使用 Pathways 系统在 780B 个 token 上训练一个 540B 参数的自回归 Transformer，在数百个任务上达到现有最佳的少样本学习结果，在推理和多语言能力方面有显著提升。

ABSTRACT

Large language models have been shown to achieve remarkable performance across a variety of natural language tasks using few-shot learning, which drastically reduces the number of task-specific training examples needed to adapt the model to a particular application. To further our understanding of the impact of scale on few-shot learning, we trained a 540-billion parameter, densely activated, Transformer language model, which we call Pathways Language Model PaLM. We trained PaLM on 6144 TPU v4 chips using Pathways, a new ML system which enables highly efficient training across multiple TPU Pods. We demonstrate continued benefits of scaling by achieving state-of-the-art few-shot learning results on hundreds of language understanding and generation benchmarks. On a number of these tasks, PaLM 540B achieves breakthrough performance, outperforming the finetuned state-of-the-art on a suite of multi-step reasoning tasks, and outperforming average human performance on the recently released BIG-bench benchmark. A significant number of BIG-bench tasks showed discontinuous improvements from model scale, meaning that performance steeply increased as we scaled to our largest model. PaLM also has strong capabilities in multilingual tasks and source code generation, which we demonstrate on a wide array of benchmarks. We additionally provide a comprehensive analysis on bias and toxicity, and study the extent of training data memorization with respect to model scale. Finally, we discuss the ethical considerations related to large language models and discuss potential mitigation strategies.

研究动机与目标

• 研究扩大语言模型规模如何影响覆盖广泛 NLP 任务的少样本学习。
• 展示在 TPU v4 Pods 上使用 Pathways 进行超大规模模型的高效、无流水线训练。
• 在英语 NLP 基准、BIG-bench、多语言任务、代码生成和翻译任务上评估 PaLM。
• 分析偏见、毒性和记忆化，并讨论伦理考量及潜在缓解措施。

提出的方法

• 使用带 SwiGLU 激活的解码器-仅 Transformer 以及并行 Transformer 层以提高训练速度。
• 采用多查询注意力、RoPE 位置编码、共享输入输出嵌入、无偏置，以及 256k 的 SentencePiece 词汇表以支持多语言数据。
• 在 6144 个 TPU v4 芯片上，通过 Pathways 系统，在 780B 令牌混合（包括代码）下训练三种模型规模（8B、62B、540B）。
• 用 Model FLOPs Utilization (MFU) 衡量模型效率，并与使用硬件 FLOPs 利用率 (HFU) 的先前模型进行比较。
• 在 29 个英语基准、BIG-bench、翻译、多语言 NLG/QA 和推理任务上进行评估；分析偏见/毒性和记忆化。

实验结果

研究问题

• RQ1 扩大模型规模如何影响跨越多样化 NLP 任务的少样本性能？
• RQ2 在不进行任务特定微调的情况下，通过 Pathways 训练一个 540B 模型是否能够达到现有最佳结果？
• RQ3 PaLM 的多语言、推理和代码生成能力如何，以及它们如何随规模扩展？
• RQ4 PaLM 在不同规模下的偏见、毒性和记忆化特征是什么，以及如何缓解？

主要发现

• PaLM 540B 在数百个任务上实现了最先进的少样本结果，在许多基准上超过了此前微调的 SOTA。
• 在 BIG-bench 上，若干任务随规模扩展呈现不连续的提升，显示涌现能力。
• PaLM 展现出强大的多语言性能，在非英语数据相对较少的情况下接近非英语 SOTA。
• PaLM 在少样本设置中通过链式思考提示展现出突破性的推理能力。
• PaLM 540B 的自注意力 MFU 达到 46.2%，无自注意力时为 45.7%，表明训练效率很高。
• 偏见与毒性分析显示在某些偏见任务上随规模有改进，但仍存在刻板印象关联和提示相关的毒性。