[论文解读] On the Generalization Benefit of Noise in Stochastic Gradient Descent

Samuel Smith, Erich Elsen+1 more|arXiv (Cornell University)|Jun 26, 2020

Stochastic Gradient Optimization Techniques被引用 22

一句话总结

本文表明，即使在经过严格的超参数调优后，随机梯度下降（SGD）中的噪声仍能提升深度学习的泛化性能。通过随机微分方程（SDE）框架，作者证明了在测试准确率上，小到中等规模的批量大小优于极大规模的批量大小——即使大规模批量的训练损失更低——从而确认了梯度噪声带来的持续泛化优势。

ABSTRACT

It has long been argued that minibatch stochastic gradient descent can generalize better than large batch gradient descent in deep neural networks. However recent papers have questioned this claim, arguing that this effect is simply a consequence of suboptimal hyperparameter tuning or insufficient compute budgets when the batch size is large. In this paper, we perform carefully designed experiments and rigorous hyperparameter sweeps on a range of popular models, which verify that small or moderately large batch sizes can substantially outperform very large batches on the test set. This occurs even when both models are trained for the same number of iterations and large batches achieve smaller training losses. Our results confirm that the noise in stochastic gradients can enhance generalization. We study how the optimal learning rate schedule changes as the epoch budget grows, and we provide a theoretical account of our observations based on the stochastic differential equation perspective of SGD dynamics.

研究动机与目标

• 通过在严格超参数调优下进行受控实验，解决小批量SGD是否优于大批量SGD泛化性能的争议。
• 研究随着训练预算（训练轮数）增加，最优学习率调度的变化规律，尤其区分训练损失最小化与测试准确率最大化之间的差异。
• 利用随机微分方程（SDE）视角，对SGD动力学提供理论解释，识别出噪声主导与曲率主导的训练区域。
• 阐明学习率调度在泛化中的作用，特别是高初始学习率和后期快速衰减的重要性。
• 验证在恒定步数预算下，噪声的泛化优势依然存在，从而反驳其仅源于次优调优或计算资源限制的论断。

提出的方法

• 采用随机微分方程（SDE）框架建模SGD动力学，基于批量大小和损失曲面曲率，区分噪声主导与曲率主导区域。
• 在多个标准模型（如在CIFAR-10上训练的Wide-ResNet）上进行受控实验，固定训练迭代次数，并在每个批量大小下系统性地进行学习率超参数扫描。
• 使用由初始和最终学习率（固定衰减速率）参数化的学习率调度，以比较不同学习率轨迹下的泛化性能。
• 在每个批量大小下进行网格搜索以确保最优调优，避免因次优超参数选择带来的偏差。
• 分析随着训练轮数预算增加，最优学习率的衰减速率，比较最小化训练损失与最大化测试准确率的调度策略。
• 通过估计小批量训练中最大稳定学习率，识别出噪声主导与曲率主导区域之间的边界。

实验结果

研究问题

• RQ1 在深度学习中，SGD的随机梯度噪声是否能提供真实的泛化优势，且独立于超参数调优或计算预算差异？
• RQ2 随着训练预算增加，最大化测试准确率的最优学习率调度与最小化训练损失的调度有何不同？
• RQ3 SGD的SDE视角能否准确预测出两种截然不同的训练区域（噪声主导与曲率主导）及其对泛化的影响？
• RQ4 在相同迭代次数下，批量大小、学习率与测试集性能之间存在何种关系？
• RQ5 是否存在一个‘最优温度’（学习率与批量大小的比值）以促进泛化？该比值如何随计算预算变化？

主要发现

• 在CIFAR-10上训练的16-4 Wide-ResNet中，即使经过9725次训练更新并完成全部超参数调优，小批量（如2048）和中等批量（如2048）的测试准确率（94.9%）显著高于极大批量（16384）。
• 随着训练轮数预算增加，最大化测试准确率的最优学习率衰减极慢——当预算增加128倍时，仅衰减2倍；而最小化训练损失的最优学习率则迅速衰减。
• 最大化测试准确率的最优初始学习率始终高于最小化训练损失的最优初始学习率，且最大化测试准确率的最优最终学习率始终低于后者。
• 在恒定步数预算下，噪声的泛化优势依然存在，证实其并非源于更长训练或次优调优的产物。
• 通过在小批量训练中识别最大稳定学习率，可估计出噪声主导与曲率主导区域之间的边界，提示了一种实用的批量大小选择策略。
• 保持高初始学习率并在后期快速衰减的学习率调度泛化性能更优，支持了模拟退火的类比，并强调了早期噪声在塑造泛化中的关键作用。