[论文解读] The Two Regimes of Deep Network Training

Guillaume Leclerc, Aleksander Mądry|arXiv (Cornell University)|Feb 24, 2020

Advanced Neural Network Applications参考文献 18被引用 12

一句话总结

本文识别出深度网络中的两种不同训练模式：在高学习率下表现为噪声大、非凸的“大步”模式，该模式促进泛化；在低学习率下表现为平滑、类似凸优化的“小步”模式，该模式虽能实现快速收敛但泛化性能差。通过在不同阶段采用不同的优化策略——大步阶段使用无动量的SGD，小步阶段使用高动量的SGD——该两阶段学习率调度策略在CIFAR-10和ImageNet上实现了最先进性能，优于标准的多阶段学习率调度方案。

ABSTRACT

Learning rate schedule has a major impact on the performance of deep learning models. Still, the choice of a schedule is often heuristical. We aim to develop a precise understanding of the effects of different learning rate schedules and the appropriate way to select them. To this end, we isolate two distinct phases of training, the first, which we refer to as the "large-step" regime, exhibits a rather poor performance from an optimization point of view but is the primary contributor to model generalization; the latter, "small-step" regime exhibits much more "convex-like" optimization behavior but used in isolation produces models that generalize poorly. We find that by treating these regimes separately-and em specializing our training algorithm to each one of them, we can significantly simplify learning rate schedules.

研究动机与目标

• 为了理解为何某些学习率调度方案尽管表现出反直觉的行为（如递增调度或高学习率），仍能优于其他方案。
• 为了探究在深度网络训练中，高学习率与低学习率训练模式在优化动力学和泛化行为上的根本差异。
• 为了挑战在整个训练过程中使用单一优化算法和超参数设置的假设，提出一种基于训练模式的特定优化方法。
• 为了证明将训练划分为不同阶段，可实现更简单、更有效的学习率调度方案，并获得更优的泛化性能。

提出的方法

• 作者将两种训练模式分离：一种是‘大步’模式（高学习率，损失函数噪声大，收敛性差），另一种是‘小步’模式（低学习率，损失函数平滑下降，收敛迅速）。
• 他们使用标准SGD和动量SGD分析优化动力学，比较不同动量值和学习率下的损失轨迹与泛化性能。
• 他们提出一种两阶段学习率调度方案：首先在高学习率下无动量训练（大步模式），然后切换至低学习率并使用高动量（小步模式）。
• 通过在CIFAR-10和ImageNet上进行实验验证，调优两阶段之间的切换点，并通过大量消融实验确认动量在第一阶段的作用可忽略不计。
• 他们在CIFAR-10和ImageNet上评估所提出的调度方案，与标准三阶段调度方案及循环学习率基线进行性能对比。
• 他们认为，通常因泛化性能差而被避免的二阶优化方法（如K-FAC、L-BFGS），可能仅适用于小步模式。

实验结果

研究问题

• RQ1 为何高学习率调度方案尽管优化收敛性差，却能在深度网络中实现更好的泛化？
• RQ2 在损失轨迹、动量有效性及收敛行为方面，高学习率与低学习率模式下的优化动力学有何本质区别？
• RQ3 能否通过将训练划分为两个不同阶段，并在各阶段使用不同的优化算法与超参数，来提升模型性能？
• RQ4 在大步模式下，动量能否与学习率完全解耦而不影响性能？
• RQ5 与复杂的多阶段或循环调度方案相比，是否可能通过简化的两阶段学习率调度方案实现最先进性能？

主要发现

• 大步模式表现出高度非凸的优化行为，损失轨迹噪声大，即使经过大量训练步骤也难以收敛。
• 在大步模式下，动量无法提供明显优势；其影响可完全通过调整学习率来补偿。
• 在小步模式下，动量显著加速收敛，并导致更低的最终损失，与凸优化的直觉一致。
• 采用两阶段调度方案——第一阶段使用无动量SGD，第二阶段使用高动量SGD——在CIFAR-10和ImageNet上均实现了最先进性能。
• 所提出的调度方案在多个切换点上均优于或匹配标准三阶段调度方案，且在第一阶段省略动量后性能无下降。
• 结果表明，以往因泛化性能差而被避免的二阶优化方法，可能仅在小步模式下具有可行性。