[论文解读] Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling?

Yi Tay, Mostafa Dehghani+8 more|arXiv (Cornell University)|Jul 21, 2022

Neural Networks and Applications被引用 11

一句话总结

本文研究了不同模型架构及其归纳偏置如何影响语言模型的缩放规律，通过在100个模型（涵盖10种不同架构）上进行广泛的预训练和微调，发现原始Transformer架构表现出最强的缩放行为，而MLP-Mixer、Performer和ALBERT等架构则缩放效果差甚至性能下降，挑战了关于从预训练到下游任务性能可转移性的假设。

ABSTRACT

There have been a lot of interest in the scaling properties of Transformer models. However, not much has been done on the front of investigating the effect of scaling properties of different inductive biases and model architectures. Do model architectures scale differently? If so, how does inductive bias affect scaling behaviour? How does this influence upstream (pretraining) and downstream (transfer)? This paper conducts a systematic study of scaling behaviour of ten diverse model architectures such as Transformers, Switch Transformers, Universal Transformers, Dynamic convolutions, Performers, and recently proposed MLP-Mixers. Via extensive experiments, we show that (1) architecture is an indeed an important consideration when performing scaling and (2) the best performing model can fluctuate at different scales. We believe that the findings outlined in this work has significant implications to how model architectures are currently evaluated in the community.

研究动机与目标

• 理解不同模型架构的归纳偏置如何影响语言模型中的缩放行为。
• 评估在单一计算规模下的性能是否能可靠预测不同模型尺寸和计算区域的可扩展性。
• 研究上游预训练性能（困惑度）与下游迁移性能之间的脱节现象。
• 评估不同缩放协议（深度 vs. 宽度）对各类架构的影响。
• 为设计在多样化计算环境中有效缩放的模型提供实证洞见。

提出的方法

• 作者在10种不同架构中预训练并微调了100个模型，参数量从1500万到400亿不等。
• 通过将幂律模型拟合到不同模型尺寸下的上游（负对数困惑度）和下游（准确率）性能，推导出缩放规律。
• 研究分析了上游和下游性能的缩放系数（α），并引入α_U,D以衡量下游缩放相对于上游的相对程度。
• 对四种代表性架构（MoS-Transformer、Transformer、Evolved Transformer、LConv）应用了不同的缩放协议（改变深度和宽度），以评估架构对缩放的敏感性。
• 实验在多个计算区域中进行，以捕捉超越点评估的缩放趋势。
• 分析涵盖标准Transformer架构以及非Transformer架构，如MLP-Mixer、Performer和动态卷积。

实验结果

研究问题

• RQ1 不同模型架构在上游困惑度和下游准确率方面如何缩放？
• RQ2 在单一计算规模下表现强劲是否能可靠预测跨模型尺寸的可扩展性？
• RQ3 上游预训练性能在多大程度上与下游迁移性能相关，这种相关性在不同架构间如何变化？
• RQ4 不同缩放协议（深度 vs. 宽度）如何影响各类架构的缩放行为？
• RQ5 哪些归纳偏置能带来稳健的缩放，而哪些会导致负向或平坦的缩放趋势？

主要发现

• 原始Transformer展现出最强的缩放行为，其在所有架构中具有最高的缩放系数α。
• 尽管在低尺度下表现强劲，MLP-Mixer、Performer和ALBERT等模型在下游任务中表现出负向或平坦的缩放趋势。
• ALBERT在上游困惑度上呈负向缩放，可能由于编码器和解码器层之间参数共享所致。
• Switch Transformers在下游缩放相对于上游性能方面表现最佳（α_U,D最高），表明其具有强大的迁移能力。
• 对标准Transformer进行最小修改的架构（如GLU-Transformer、MoS-Transformer）保留了与原始Transformer相似的缩放行为。
• 深度缩放对下游性能的影响显著大于宽度缩放，且LConv在不同缩放协议下表现出不一致的缩放特性。