[论文解读] Optimal Mini-Batch Size Selection for Fast Gradient Descent

Michael Perrone, Haidar Khan+4 more|arXiv (Cornell University)|Nov 15, 2019

Stochastic Gradient Optimization Techniques参考文献 30被引用 4

一句话总结

本文通过识别小批量大小与收敛所需更新次数之间稳健的实证反比关系，提出了一种用于随机梯度下降（SGD）中最佳小批量大小选择的闭式模型。该模型将算法行为与硬件解耦，通过噪声敏感度参数 α 和收敛下限 N∞ 实现训练时间的合理优化，并在图像识别和机器翻译任务中得到验证。

ABSTRACT

This paper presents a methodology for selecting the mini-batch size that minimizes Stochastic Gradient Descent (SGD) learning time for single and multiple learner problems. By decoupling algorithmic analysis issues from hardware and software implementation details, we reveal a robust empirical inverse law between mini-batch size and the average number of SGD updates required to converge to a specified error threshold. Combining this empirical inverse law with measured system performance, we create an accurate, closed-form model of average training time and show how this model can be used to identify quantifiable implications for both algorithmic and hardware aspects of machine learning. We demonstrate the inverse law empirically, on both image recognition (MNIST, CIFAR10 and CIFAR100) and machine translation (Europarl) tasks, and provide a theoretic justification via proving a novel bound on mini-batch SGD training.

研究动机与目标

• 开发一种系统化的方法以选择小批量大小，从而在独立于硬件和软件实现的前提下最小化 SGD 的训练时间。
• 将算法收敛行为与系统级性能因素解耦，以实现对学习动态更清晰的分析。
• 识别并量化小批量大小对不同机器学习任务中收敛迭代次数和训练时间的影响。
• 挑战‘弱缩放’（每个工作者固定小批量）可最小化训练时间的假设，表明其可能并非最优。
• 引入‘噪声敏感度’（α）作为影响最优小批量大小选择的关键算法属性。

提出的方法

• 提出一个实证反比关系：$ N_{\text{Update}} = N_\infty + \frac{\alpha}{M} $，其中 $ N_{\text{Update}} $ 为收敛所需的 SGD 更新次数，$ M $ 为小批量大小，$ \alpha $ 为噪声敏感度。
• 将总训练时间分解为 $ T_C = N_{\text{Update}} \cdot T_{\text{Update}} $，将算法复杂度与每次更新的计算时间分离。
• 利用实测系统性能，将 $ T_{\text{Update}} $ 建模为小批量大小 $ M $ 和并行学习者数量 $ P $ 的函数，从而实现训练时间的闭式预测。
• 推导出 SGD 收敛的理论边界，其表现出与实证模型相同的反比 $ M $ 依赖关系，通过中心极限定理支持该实证规律。
• 在多个基准测试中验证该模型：MNIST、CIFAR10、CIFAR100（图像识别）以及 Europarl（机器翻译）。
• 引入 $ N_\infty $ 作为更新次数的理论下限，表示即使使用全批量梯度，仍需的最少步数。

实验结果

研究问题

• RQ1 小批量大小与收敛所需 SGD 更新次数之间存在何种基本关系？
• RQ2 如何将算法收敛行为与硬件和软件实现解耦，以实现系统化优化？
• RQ3 弱缩放（每个工作者固定小批量）是否总是最小化训练时间，还是可能次优？
• RQ4 ‘噪声敏感度’（α）在确定最优小批量大小和训练效率方面发挥何种作用？
• RQ5 小批量大小与收敛迭代次数之间的反比关系能否在理论上得到证明，并推广至 SGD 之外？

主要发现

• 实证反比关系 $ N_{\text{Update}} = N_\infty + \frac{\alpha}{M} $ 在图像识别（MNIST、CIFAR10、CIFAR100）和机器翻译（Europarl）任务中均表现稳健。
• 噪声敏感度参数 $ \alpha $ 随模型和数据复杂度增加而增大，导致更复杂问题的收敛下限 $ N_\infty $ 对应更高的小批量大小。
• 为 SGD 收敛推导出的理论边界表现出与实证模型相同的反比 $ M $ 依赖关系，验证了该关系的合理性。
• 该模型表明，弱缩放可能次优，因为它忽略了收敛时间对小批量大小的依赖，从而导致训练时间更长。
• 参数 $ N_\infty $ 代表更新次数的根本下限，无论硬件规模如何扩展，均限制了并行化的收益。
• 该框架可实现训练时间的闭式预测，并为算法设计与硬件系统架构的优化提供系统化基础。