[论文解读] Statistically Significant Stopping of Neural Network Training

Justin K. Terry, Mario Jayakumar+1 more|arXiv (Cornell University)|Mar 1, 2021

Machine Learning and Data Classification参考文献 14被引用 4

一句话总结

本文提出了一种基于统计学原理的早停准则——增强夏皮罗-威尔克早停（ASWS），在性能增益变得不显著时自动终止神经网络训练。通过检验验证准确率变化的正态性，ASWS在实现与顶尖方法相当的最终准确率的同时，将训练轮次减少至77%或更少，显著降低了训练时间和计算成本，且准确率损失可忽略不计。

ABSTRACT

The general approach taken when training deep learning classifiers is to save the parameters after every few iterations, train until either a human observer or a simple metric-based heuristic decides the network isn't learning anymore, and then backtrack and pick the saved parameters with the best validation accuracy. Simple methods are used to determine if a neural network isn't learning anymore because, as long as it's well after the optimal values are found, the condition doesn't impact the final accuracy of the model. However from a runtime perspective, this is of great significance to the many cases where numerous neural networks are trained simultaneously (e.g. hyper-parameter tuning). Motivated by this, we introduce a statistical significance test to determine if a neural network has stopped learning. This stopping criterion appears to represent a happy medium compared to other popular stopping criterions, achieving comparable accuracy to the criterions that achieve the highest final accuracies in 77% or fewer epochs, while the criterions which stop sooner do so with an appreciable loss to final accuracy. Additionally, we use this as the basis of a new learning rate scheduler, removing the need to manually choose learning rate schedules and acting as a quasi-line search, achieving superior or comparable empirical performance to existing methods.

研究动机与目标

• 开发一种基于原则、自动化的神经网络训练停止方法，以避免过拟合并减少计算浪费。
• 解决基于启发式方法的早停在大规模超参数搜索和AutoML流水线中的低效问题。
• 基于早停准则设计一种学习率调度器，消除手动超参数调优的需要。
• 提供一个包含100次神经网络训练运行的可复用数据集，供未来研究训练动态与早停准则使用。

提出的方法

• 提出增强夏皮罗-威尔克早停（ASWS）准则，通过检验连续训练轮次间验证准确率差异分布的正态性来判断是否继续训练。
• 采用假设检验方法判断进一步训练是否可能带来有意义的性能提升。
• 使用改进的夏皮罗-威尔克检验并引入松弛参数，以适应早期训练阶段的噪声与波动性。
• 提出一种新型学习率调度器，根据ASWS早停信号动态调整，起到准线性搜索的作用。
• 采用滑动窗口机制，基于近期验证准确率值计算检验统计量，实现实时决策。
• 对松弛参数（slackProp）进行调优，以在检测最优停止点时平衡灵敏度与鲁棒性。

实验结果

研究问题

• RQ1 对验证准确率变化进行统计显著性检验，能否可靠识别出神经网络训练的最优停止点？
• RQ2 与基于启发式的早停方法相比，ASWS在最终准确率和训练时长方面表现如何？
• RQ3 ASWS早停信号能否有效用于指导学习率调度器，而无需手动调优？
• RQ4 所提方法在超参数搜索和AutoML工作流中能在多大程度上降低计算成本？
• RQ5 在训练后期，验证准确率差异的正态性假设是否成立？

主要发现

• 与表现最佳的早停准则相比，ASWS在77%或更少的训练轮次内停止训练，最终准确率损失可忽略不计。
• 该方法在实现与最先进早停准则相当的最终准确率的同时，将训练时间最多减少23%。
• 基于ASWS的学习率调度器在ResNet101和GoogLeNet上的收敛速度和最终准确率方面优于或等同于CyclicLR和StepLR等传统调度器。
• 所提出的100次训练会话数据集（CIFAR10上10种模型，ImageNet上10种模型）为未来训练动态与早停准则研究提供了宝贵的基准。
• 尽管正态性检验存在理论局限，ASWS的实证表现表明其在自动化训练终止方面具有强大的实际应用价值。
• 松弛参数（slackProp）对性能有显著影响，表明该参数的调优对获得最优结果至关重要。