[论文解读] Which Algorithmic Choices Matter at Which Batch Sizes? Insights From a Noisy Quadratic Model

Guodong Zhang, Lala Li+6 more|arXiv (Cornell University)|Jul 9, 2019

Stochastic Gradient Optimization Techniques参考文献 49被引用 15

一句话总结

本文提出一种噪声二次模型（NQM），用于研究算法选择（如预条件、动量和指数移动平均）如何影响神经网络训练中的临界批量大小。NQM 准确预测出，像 Adam 和 K-FAC 这类预条件优化器可将理想批量大小扩展至远大于使用动量的 SGD 所能达到的批量大小，同时在小批量情况下也提升了性能。

ABSTRACT

Increasing the batch size is a popular way to speed up neural network training, but beyond some critical batch size, larger batch sizes yield diminishing returns. In this work, we study how the critical batch size changes based on properties of the optimization algorithm, including acceleration and preconditioning, through two different lenses: large scale experiments, and analysis of a simple noisy quadratic model (NQM). We experimentally demonstrate that optimization algorithms that employ preconditioning, specifically Adam and K-FAC, result in much larger critical batch sizes than stochastic gradient descent with momentum. We also demonstrate that the NQM captures many of the essential features of real neural network training, despite being drastically simpler to work with. The NQM predicts our results with preconditioned optimizers, previous results with accelerated gradient descent, and other results around optimal learning rates and large batch training, making it a useful tool to generate testable predictions about neural network optimization.

研究动机与目标

• 理解不同优化算法如何影响神经网络训练中的临界批量大小。
• 研究预条件、动量和指数移动平均是否能将大批次训练的优势扩展至标准 SGD 无法达到的范围。
• 验证简单的噪声二次模型（NQM）在真实世界神经网络优化动态中的预测能力。
• 提供一种可扩展、可分析的替代方案，以替代昂贵的大规模实证批量大小研究。
• 生成关于大批次训练中最佳学习率调度和算法超参数的可测试预测。

提出的方法

• 构建一个噪声二次模型（NQM），以捕捉神经网络优化中的关键特征，包括梯度噪声和曲率。
• 利用 NQM 分析推导出关于最优学习率、临界批量大小以及算法组件影响的预测。
• 通过在多个模型（CNN、ResNets、VGG、Transformer）和数据集（MNIST、CIFAR10、ImageNet、LM1B）上进行大规模实验，验证 NQM 的预测。
• 应用预条件优化器（Adam、K-FAC）并对比其在不同批量大小下与带动量的 SGD 的性能表现。
• 实施学习率调度（恒定和线性衰减）并分析其与批量大小和优化器选择的相互作用。
• 采用诸如幽灵批量归一化、标签平滑和通道级权重归一化等技术，以在不同批量大小下稳定训练。

实验结果

研究问题

• RQ1 临界批量大小如何依赖于优化算法的选择，特别是当比较带动量的 SGD 与像 Adam 和 K-FAC 这类预条件方法时？
• RQ2 噪声二次模型（NQM）在多大程度上能够预测真实世界神经网络训练中的批量大小扩展行为？
• RQ3 指数移动平均（EMA）是否能减少特定批量大小所需的训练步数，是否能实现更小批量下的等效性能？
• RQ4 学习率调度如何与批量大小和优化器类型相互作用，从而影响训练效率？
• RQ5 在扩展有效大批次训练范围方面，预条件与动量的相对影响是什么？

主要发现

• 噪声二次模型（NQM）准确预测了真实神经网络训练中观察到的批量大小扩展行为，包括动量和预条件的影响。
• 像 Adam 和 K-FAC 这类预条件优化器将理想批量大小扩展至远大于带动量的 SGD 所能达到的批量大小，其中 K-FAC 实现了最大的临界批量大小。
• 与动量不同，预条件在小批量情况下也提供性能优势，从而在整个批量大小范围内提升了训练效率。
• 指数移动平均可减少特定批量大小所需的训练步数，使更小批量下实现等效性能成为可能，从而节省计算资源。
• 对于恒定和线性衰减调度，最优学习率均与批量大小呈线性关系，与 NQM 预测一致。
• NQM 有效重现了已知现象，如大批次的收益递减和临界批量大小的存在，验证了其作为优化预测工具的有效性。