[论文解读] Using Small Proxy Datasets to Accelerate Hyperparameter Search

Sam Shleifer, Eric Prokop|arXiv (Cornell University)|Jun 12, 2019

Advanced Neural Network Applications参考文献 10被引用 15

一句话总结

本文提出使用小型代理数据集——具体而言，是从 ImageNet 子集（如 Imagenette 和 Imagewoof）中选取的最容易的 10–50% 训练样本——以加速超参数搜索。通过在这些简单样本上进行训练，研究人员仅用显著减少的计算量，便实现了全数据集结果中 81–95% 的方差解释，优于在全数据集上训练更少轮次的基线方法，也优于使用困难样本的代理数据集。

ABSTRACT

One of the biggest bottlenecks in a machine learning workflow is waiting for models to train. Depending on the available computing resources, it can take days to weeks to train a neural network on a large dataset with many classes such as ImageNet. For researchers experimenting with new algorithmic approaches, this is impractically time consuming and costly. We aim to generate smaller "proxy datasets" where experiments are cheaper to run but results are highly correlated with experimental results on the full dataset. We generate these proxy datasets using by randomly sampling from examples or classes, training on only the easiest or hardest examples and training on synthetic examples generated by "data distillation". We compare these techniques to the more widely used baseline of training on the full dataset for fewer epochs. For each proxying strategy, we estimate three measures of "proxy quality": how much of the variance in experimental results on the full dataset can be explained by experimental results on the proxy dataset. Experiments on Imagenette and Imagewoof (Howard, 2019) show that running hyperparameter search on the easiest 10% of examples explains 81% of the variance in experiment results on the target task, and using the easiest 50% of examples can explain 95% of the variance, significantly more than training on all the data for fewer epochs, a more widely used baseline. These "easy" proxies are higher quality than training on the full dataset for a reduced number of epochs (but equivalent computational cost), and, unexpectedly, higher quality than proxies constructed from the hardest examples. Without access to a trained model, researchers can improve proxy quality by restricting the subset to fewer classes; proxies built on half the classes are higher quality than those with an equivalent number of examples spread across all classes.

研究动机与目标

• 在不牺牲模型性能的前提下，减少深度学习中超参数搜索的时间和计算成本。
• 解决在 ImageNet 等大型数据集上训练时间过长（可能持续数天或数周）的瓶颈问题。
• 开发能保留全数据集上超参数相对性能排序关系的代理数据集。
• 评估并比较多种代理数据集生成策略，以确定最有效且高效的方法。
• 证明：即使计算成本更低，使用简单样本而非困难样本或随机子集，也能获得更高质量的代理数据集。

提出的方法

• 通过从完全训练好的模型中基于损失值选取最容易的 10% 或 50% 训练样本，生成代理数据集。
• 将代理数据集的质量与基线策略进行比较，包括在全数据集上训练更少轮次（如 1、5、10 轮）的方法。
• 在所有代理数据集和全数据集实验中使用固定的超参数网格，以确保比较的一致性。
• 使用三种指标衡量代理数据集质量：决定系数（R-squared，即方差解释率）、Spearman等级相关系数，以及成本调整后的决定系数。
• 在两个 ImageNet 子集（Imagenette 和 Imagewoof）上评估性能，这两个子集是 ImageNet 的较小且经过筛选的版本。
• 测试多种代理策略：简单/困难样本、随机采样、按类别限制的子集，以及基于合成样本的数据蒸馏。

实验结果

研究问题

• RQ1 小型代理数据集能否解释全数据集上观察到的超参数性能方差的高比例？
• RQ2 在简单样本上进行超参数搜索的性能，与在全数据集上训练更少轮次相比如何？
• RQ3 在给定样本数量下，限制使用更少类别（而非全部类别）是否能提升代理数据集的质量？
• RQ4 困难样本与简单样本在代理数据集中的效果是否相当？还是说困难样本会降低性能？
• RQ5 数据蒸馏或其他合成方法能否产生比简单样本选择更高质量的代理数据集？

主要发现

• 在最容易的 10% 样本上训练，可解释全数据集超参数性能中 81% 的方差，显著优于仅训练 1 轮的全数据集方法。
• 使用最容易的 50% 样本可解释 95% 的方差，表明代理数据集与全数据集结果之间存在强烈相关性。
• 简单样本代理数据集始终优于困难样本代理数据集，尽管后者本应更具信息量；这表明简单样本更能捕捉超参数性能的相对动态关系。
• 当限制在更少类别时，代理数据集质量提升——在相同样本数量下，仅使用一半类别生成的代理数据集质量高于在所有类别间分散样本的情况。
• 尽管计算成本相当，全数据集少轮次训练的基线方法性能仍劣于简单样本代理数据集，表明代理设计的重要性超过单纯减少训练时间。
• 数据蒸馏和随机采样策略产生的代理数据集质量较低，决定系数（R-squared）低于 0.1，表明与全数据集结果的相关性微弱。