[论文解读] Predicting Training Time Without Training

Luca Zancato, Alessandro Achille+3 more|arXiv (Cornell University)|Aug 28, 2020

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

该论文提出了一种无需实际训练即可预测微调深度网络训练时间的方法，通过在函数空间中使用低维随机微分方程（SDE）对训练动态进行建模。该方法在计算成本仅为完整训练的1/30至1/45的情况下，实现了20%以内的预测误差。

ABSTRACT

We tackle the problem of predicting the number of optimization steps that a pre-trained deep network needs to converge to a given value of the loss function. To do so, we leverage the fact that the training dynamics of a deep network during fine-tuning are well approximated by those of a linearized model. This allows us to approximate the training loss and accuracy at any point during training by solving a low-dimensional Stochastic Differential Equation (SDE) in function space. Using this result, we are able to predict the time it takes for Stochastic Gradient Descent (SGD) to fine-tune a model to a given loss without having to perform any training. In our experiments, we are able to predict training time of a ResNet within a 20% error margin on a variety of datasets and hyper-parameters, at a 30 to 45-fold reduction in cost compared to actual training. We also discuss how to further reduce the computational and memory cost of our method, and in particular we show that by exploiting the spectral properties of the gradients' matrix it is possible predict training time on a large dataset while processing only a subset of the samples.

研究动机与目标

• 在不进行实际训练的情况下，预测预训练深度网络达到目标损失值所需的优化步数。
• 使用线性化近似建模微调网络的训练动态，从而实现对损失和准确率随时间变化的解析预测。
• 通过利用梯度矩阵的谱特性，降低训练时间预测中的计算和内存开销。
• 仅使用训练样本的子集，实现大规模数据集上快速、可扩展的收敛时间预测。

提出的方法

• 通过线性化网络近似，从函数空间中的低维随机微分方程（SDE）建模深度网络的微调动态。
• 解析求解SDE，以预测优化过程中任意时刻的训练损失和准确率。
• 利用SDE的解来估计达到目标损失值所需的SGD步数，从而避免实际训练。
• 通过梯度矩阵的谱分解，在预测过程中降低计算成本和内存使用。
• 通过利用谱特性，将方法应用于训练数据的子集，实现在大规模数据集上的可扩展预测。
• 仅通过少量初始训练步骤校准SDE参数，以实现长期预测的高精度。

实验结果

研究问题

• RQ1 我们能否在不进行任何训练的情况下预测收敛所需的优化步数？
• RQ2 线性化SDE模型在多大程度上能准确捕捉微调深度网络的训练动态？
• RQ3 预测的计算成本相对于完整训练如何？如何进一步最小化？
• RQ4 梯度的谱特性能否用于在保持精度的同时减少预测中的内存和计算开销？
• RQ5 该方法在不同数据集和超参数设置下是否具有泛化能力？

主要发现

• 该方法在各种数据集和超参数设置下，对ResNet模型的训练时间预测平均误差低于20%。
• 预测所需的计算成本仅为实际训练的1/30至1/45，从而实现快速模型选择。
• 通过利用梯度矩阵的谱特性，该方法将内存和计算开销降低至仅处理训练样本子集的程度。
• 基于SDE的模型能够准确捕捉训练动态，从而可靠地外推损失和准确率随时间的变化。
• 该方法在多种数据集和超参数设置下均保持鲁棒性，展现出良好的泛化能力。
• 该方法可在数秒内预测收敛时间，而完整训练可能需要数小时甚至数天。