[论文解读] Stochastic Training is Not Necessary for Generalization

Jonas Geiping, Micah Goldblum+3 more|arXiv (Cornell University)|Sep 29, 2021

Advanced Neural Network Applications参考文献 91被引用 6

一句话总结

该论文表明，深度神经网络的泛化并不依赖于随机训练，证明了使用显式正则化的全批量梯度下降可在CIFAR-10上实现与SGD相当的最先进性能（95.68%准确率），而无需使用随机性。关键洞见在于，SGD梯度噪声带来的隐式正则化可被显式正则化（如基于梯度的正则化和激进剪枝）所替代，从而在不依赖随机性的情况下实现强泛化能力。

ABSTRACT

It is widely believed that the implicit regularization of SGD is fundamental to the impressive generalization behavior we observe in neural networks. In this work, we demonstrate that non-stochastic full-batch training can achieve comparably strong performance to SGD on CIFAR-10 using modern architectures. To this end, we show that the implicit regularization of SGD can be completely replaced with explicit regularization even when comparing against a strong and well-researched baseline. Our observations indicate that the perceived difficulty of full-batch training may be the result of its optimization properties and the disproportionate time and effort spent by the ML community tuning optimizers and hyperparameters for small-batch training.

研究动机与目标

• 挑战广泛持有的观点，即随机梯度下降（SGD）在深度学习中对泛化至关重要。
• 分离并复现SGD的泛化优势，而不依赖于随机小批量训练。
• 证明显式正则化可完全替代全批量训练中SGD的隐式正则化。
• 研究在合适的超参数调优和正则化下，全批量训练是否能与SGD在标准基准上表现相当或更优。
• 质疑小批量梯度噪声在过参数化模型中对泛化具有根本作用的假设。

提出的方法

• 使用全批量梯度下降（批量大小为50K，即整个数据集）在CIFAR-10上训练ResNet-18。
• 通过基于梯度的正则化（Smith et al., 2020b）施加显式正则化，该方法惩罚损失曲面中的尖锐性。
• 采用激进的梯度剪枝以在全批量设置下稳定训练并防止发散。
• 使用前向差分近似高效计算Hessian-向量乘积以实现正则化项。
• 通过调整学习率、权重衰减和梯度剪枝，在不使用数据增强的情况下扩展结果至非随机训练。
• 通过损失曲面可视化验证结果，比较全批量训练与SGD训练模型在尖锐性和泛化行为上的差异。

实验结果

研究问题

• RQ1 在不使用数据增强或随机性的情况下，全批量梯度下降是否能在CIFAR-10上实现与SGD相当的泛化性能？
• RQ2 SGD的隐式正则化是否真的对泛化必不可少，还是可被显式正则化完全替代？
• RQ3 为稳定全批量训练并实现高准确率，需要哪些超参数调整？
• RQ4 梯度剪枝与显式正则化的结合如何影响全批量训练中极小值的尖锐性？
• RQ5 在非随机、全批量设置下，能否复现Sharpness-Aware Minimization（SAM）的优势？

主要发现

• 使用显式正则化的全批量训练在CIFAR-10上实现了95.68% ± 0.09的验证准确率，当两者均使用数据增强时，与强基线SGD性能相当。
• 在不使用数据增强的情况下，全批量训练仍通过激进的梯度剪枝和显式正则化实现了超过95%的准确率。
• 基于梯度的正则化（Smith et al., 2020b）有效模拟了SGD梯度噪声带来的泛化优势。
• 损失曲面分析表明，经过适当正则化的全批量训练收敛至与SGD相似的平坦极小值。
• 在特定超参数设置下，显式正则化与SAM之间的等价性得到了理论证明，表明两者共享相同的机制。
• 结果表明，全批量训练感知困难的原因在于优化不稳定性与超参数敏感性，而非方法本身存在固有缺陷。