[论文解读] Online Batch Selection for Faster Training of Neural Networks

Ilya Loshchilov, Frank Hutter|arXiv (Cornell University)|Nov 19, 2015

Stochastic Gradient Optimization Techniques参考文献 32被引用 171

一句话总结

本文提出一种在线小批量选择策略，通过根据最近损失值对训练样本进行排序，并以指数衰减的概率进行采样，优先选择损失较高的样本。在MNIST上的实验表明，该方法使Adam和AdaDelta优化器的收敛速度提升约5倍，显著提高了训练速度，且无需修改底层优化算法。

ABSTRACT

Deep neural networks are commonly trained using stochastic non-convex optimization procedures, which are driven by gradient information estimated on fractions (batches) of the dataset. While it is commonly accepted that batch size is an important parameter for offline tuning, the benefits of online selection of batches remain poorly understood. We investigate online batch selection strategies for two state-of-the-art methods of stochastic gradient-based optimization, AdaDelta and Adam. As the loss function to be minimized for the whole dataset is an aggregation of loss functions of individual datapoints, intuitively, datapoints with the greatest loss should be considered (selected in a batch) more frequently. However, the limitations of this intuition and the proper control of the selection pressure over time are open questions. We propose a simple strategy where all datapoints are ranked w.r.t. their latest known loss value and the probability to be selected decays exponentially as a function of rank. Our experimental results on the MNIST dataset suggest that selecting batches speeds up both AdaDelta and Adam by a factor of about 5.

研究动机与目标

• 探究在线训练小批量选择是否能超越固定小批量大小的随机优化，加速深度神经网络训练。
• 解决自适应小批量选择在提升Adam和AdaDelta等先进优化器收敛速度方面的潜在应用，该方向尚未得到充分探索。
• 开发并评估一种基于单个数据点实时损失值的动态小批量选择策略，简单而高效。
• 证明聚焦于高损失样本可减少训练时间，且不损害模型性能。

提出的方法

• 每个训练样本根据其最新计算的损失值进行排序，损失值越高，排名越靠前。
• 小批量中选择样本的概率随其排名呈指数衰减，优先选择损失最大的样本。
• 选择过程按可配置的频率（r_freq）定期更新，以在计算成本与自适应性之间取得平衡。
• 该方法应用于Adam和AdaDelta优化器，保持其原始更新规则，仅修改小批量采样过程。
• 该方法对损失函数的保序变换保持不变，确保对缩放具有鲁棒性。
• 通过使用基于二分查找的方法，在需要时避免昂贵的重新排序，从而保持计算开销较低。

实验结果

研究问题

• RQ1 与均匀随机采样相比，基于实时损失值的在线小批量选择是否能加速深度神经网络的训练？
• RQ2 当小批量基于损失大小非均匀选择时，Adam和AdaDelta的性能如何变化？
• RQ3 为最大化收敛速度，选择概率随损失排名的最优衰减调度是什么？
• RQ4 动态小批量选择的计算开销与所获得的训练加速相比如何？
• RQ5 该方法是否可推广到MNIST以外的数据集（如CIFAR-10）？

主要发现

• 基于损失排序的在线小批量选择在MNIST数据集上使Adam和AdaDelta的训练时间减少约5倍。
• 该方法在不改变底层优化算法或额外超参数调优的情况下实现了显著加速。
• 性能提升在两种优化器上均保持一致，表明其对现代自适应随机梯度方法具有广泛适用性。
• 与整体训练成本相比，排序和排序带来的计算开销可忽略不计，尤其在大模型中更为明显。
• 即使损失排序在时间上仅部分稳定，该方法仍保持有效，表明对损失估计噪声具有鲁棒性。
• 在CIFAR-10上的初步结果显示，该方法优于随机采样，但尚未优于洗牌策略，表明其可能存在数据集依赖性行为。