[论文解读] Repeated Random Sampling for Minimizing the Time-to-Accuracy of Learning

Patrik Okanovic, Roger Waleffe+6 more|arXiv (Cornell University)|May 28, 2023

Advanced Neural Network Applications被引用 6

一句话总结

本论文提出重复采样随机子集（RS2），一种简单但极为高效的方法，通过在每个训练周期独立采样随机训练子集，以最小化深度学习中的准确率达成时间。RS2在多个数据集上均优于最先进数据剪枝与蒸馏方法，于ImageNet上仅使用不到10%的数据，准确率最高提升29%，训练速度提升7倍，同时提供了理论上的收敛性与泛化性边界。

ABSTRACT

Methods for carefully selecting or generating a small set of training data to learn from, i.e., data pruning, coreset selection, and data distillation, have been shown to be effective in reducing the ever-increasing cost of training neural networks. Behind this success are rigorously designed strategies for identifying informative training examples out of large datasets. However, these strategies come with additional computational costs associated with subset selection or data distillation before training begins, and furthermore, many are shown to even under-perform random sampling in high data compression regimes. As such, many data pruning, coreset selection, or distillation methods may not reduce 'time-to-accuracy', which has become a critical efficiency measure of training deep neural networks over large datasets. In this work, we revisit a powerful yet overlooked random sampling strategy to address these challenges and introduce an approach called Repeated Sampling of Random Subsets (RSRS or RS2), where we randomly sample the subset of training data for each epoch of model training. We test RS2 against thirty state-of-the-art data pruning and data distillation methods across four datasets including ImageNet. Our results demonstrate that RS2 significantly reduces time-to-accuracy compared to existing techniques. For example, when training on ImageNet in the high-compression regime (using less than 10% of the dataset each epoch), RS2 yields accuracy improvements up to 29% compared to competing pruning methods while offering a runtime reduction of 7x. Beyond the above meta-study, we provide a convergence analysis for RS2 and discuss its generalization capability. The primary goal of our work is to establish RS2 as a competitive baseline for future data selection or distillation techniques aimed at efficient training.

研究动机与目标

• 为解决现有数据剪枝与蒸馏方法在最小化准确率达成时间方面效率低下的问题，特别是在高压缩率情形下。
• 通过重新审视并改进随机采样，挑战复杂数据选择策略对高效训练为必要条件的假设。
• 建立一个强大而简洁的基线方法——RS2，其在准确率与训练速度上均优于最先进技术。
• 通过收敛性与泛化误差分析，为RS2的实证成功提供理论支持。

提出的方法

• RS2在每个训练周期独立采样一个均匀随机的训练数据子集，且在每个周期内不放回采样。
• 该方法使用标准随机梯度下降，每个周期从随机重采样的子集中抽取小批量数据。
• 该方法为数据无关且非自适应的，因此计算开销极低，且无需预处理开销。
• 理论分析表明，RS2的收敛速率为 $\mathcal{O}\left(\frac{\beta||w^{0}-w^{*}||^{2}}{r^{2}T^{2}X^{2}} + \frac{\sigma||w^{0}-w^{*}||}{\sqrt{brTX}}\right)$，其中 $r$ 为子集比例，$T$ 为周期数。
• 通过稳定性分析，泛化误差被界定为 $|\epsilon_{\mathrm{gen}}| \leq \frac{1}{N} \cdot 2Ce^{C\beta_{f}}L_{f}^{2}(rTX)^{C\beta_{f}} \min\{1 + \frac{1}{C\beta_{f}}, \log(e r T X)\}$，适用于非凸、平滑且Lipschitz连续的损失函数。
• 该方法在四个数据集上进行了评估，包括ImageNet，在不同数据压缩率下进行实验，并与30种最先进方法进行消融分析与对比。

实验结果

研究问题

• RQ1 与静态子集选择或数据蒸馏相比，跨周期重复随机采样是否能显著减少准确率达成时间？
• RQ2 在高数据压缩率下，一种简单、低开销的随机采样策略能否优于复杂、计算成本高昂的数据剪枝与蒸馏方法？
• RQ3 在随机优化中，重复随机采样的收敛性与泛化行为如何？
• RQ4 在不同数据集与压缩水平下，RS2与现有基线方法在准确率、训练速度与鲁棒性方面相比如何？

主要发现

• 当每个周期在ImageNet上使用少于10%的数据训练时，RS2相比最先进剪枝方法将准确率达成时间减少了最多29%。
• 在相同的高压缩率条件下，RS2在ImageNet上的运行时间相比竞争方法减少了7倍。
• 在高压缩率区间（r < 0.1）中，RS2优于所有评估的剪枝与蒸馏方法，而许多现有方法在此区间表现不佳。
• 理论分析确认，RS2的收敛速率为 $\mathcal{O}\left(\frac{\beta||w^{0}-w^{*}||^{2}}{r^{2}T^{2}X^{2}} + \frac{\sigma||w^{0}-w^{*}||}{\sqrt{brTX}}\right)$，支持其实际性能表现。
• RS2的泛化误差被界定为 $\frac{1}{N} \cdot 2Ce^{C\beta_{f}}L_{f}^{2}(rTX)^{C\beta_{f}} \min\{1 + \frac{1}{C\beta_{f}}, \log(e r T X)\}$，表明其具备强大的泛化能力。
• RS2为未来的数据选择与蒸馏方法建立了新的竞争性基线，表明在效率关键场景下，简洁性可超越复杂性。