[论文解读] Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training

Abraham J. Fetterman, Ellie Kitanidis+7 more|arXiv (Cornell University)|Jun 13, 2023

Machine Learning and Data Classification被引用 4

一句话总结

CARBS 是一种成本感知的贝叶斯优化算法，通过在性能-成本帕累托前沿附近进行局部搜索，实现对大型深度学习模型的高效、自动化超参数调优。它能够发现所有超参数的缩放规律，以更少的计算资源复现 Chinchilla 的模型缩放结果，并仅通过 PPO 调优即解决整个 ProcGen 基准测试，展现出相较于基线方法更优的样本效率和鲁棒性。

ABSTRACT

Hyperparameter tuning of deep learning models can lead to order-of-magnitude performance gains for the same amount of compute. Despite this, systematic tuning is uncommon, particularly for large models, which are expensive to evaluate and tend to have many hyperparameters, necessitating difficult judgment calls about tradeoffs, budgets, and search bounds. To address these issues and propose a practical method for robustly tuning large models, we present Cost-Aware Pareto Region Bayesian Search (CARBS), a Bayesian optimization algorithm that performs local search around the performance-cost Pareto frontier. CARBS does well even in unbounded search spaces with many hyperparameters, learns scaling relationships so that it can tune models even as they are scaled up, and automates much of the "black magic" of tuning. Among our results, we effectively solve the entire ProcGen benchmark just by tuning a simple baseline (PPO, as provided in the original ProcGen paper). We also reproduce the model size vs. training tokens scaling result from the Chinchilla project (Hoffmann et al. 2022), while simultaneously discovering scaling laws for every other hyperparameter, via an easy automated process that uses significantly less compute and is applicable to any deep learning problem (not just language models).

研究动机与目标

• 为解决大型深度学习模型超参数调优中的低效与人工干预问题，特别是在评估成本高昂且缩放关系非平凡的情况下。
• 通过消除对搜索边界和训练预算的手动指定，实现调优过程的自动化，减少超参数选择中的偏差与不可复现性。
• 通过学习所有超参数的成本相关缩放规律，在高维空间中实现稳健且可扩展的超参数优化。
• 自动复现复杂缩放行为（如 Chinchilla 项目中的行为），并显著降低计算需求。
• 证明即使使用简单的基线方法（如 PPO），在 CARBS 调优后，也能在包括强化学习、语言建模和图像分类在内的多样化任务中达到最先进性能。

提出的方法

• CARBS 使用高斯过程（GP）代理模型，联合建模超参数作为输入时的模型性能与训练成本（以时间计）。
• 在当前性能-成本帕累托前沿的邻域内执行局部贝叶斯优化，提升高维空间中的样本效率。
• 其获取函数采用对帕累托前沿的期望改进（EI-PF），并引入成本感知机制，优先选择高效且高性能的配置。
• 动态学习超参数（如初始学习率、批量大小、训练样本数）的缩放规律，支持向更大模型的外推。
• 引入随机成本钳制机制，以平衡对低成本与高性能区域的探索，并通过重采样减少观测中的噪声。
• 该算法仅需为每个超参数指定一个初始搜索中心，无需预定义的搜索边界或预算约束。

实验结果

研究问题

• RQ1 贝叶斯优化算法能否在超参数数量多、评估成本高的情况下，高效调优深度学习模型，尤其是在模型规模扩展时？
• RQ2 超参数调优器能否在无需人工干预的情况下，自动发现所有超参数（包括训练样本数和训练轮数）的缩放规律？
• RQ3 与全局优化或非成本感知的贝叶斯优化相比，基于帕累托前沿的局部成本感知搜索策略是否在样本效率和鲁棒性方面表现更优？
• RQ4 当使用 CARBS 调优时，简单的基线方法（如 PPO）是否能在挑战性基准（如 ProcGen）上达到最先进性能？
• RQ5 CARBS 是否能以远低于传统方法的计算量，复现复杂缩放规律（如 Chinchilla 项目中的规律）？

主要发现

• 在语言建模任务中，CARBS 达到了最佳中位数性能和最低方差，优于其他调优算法（包括 ASHA 和 BOHB）。
• 在 MuJoCo Ant-v4 强化学习任务中，CARBS 生成的观测点更接近帕累托前沿，表明其具有更高的样本效率和更优的代理模型质量。
• CARBS 仅通过调优 PPO 基线即成功解决了整个 ProcGen 基准测试，证明系统性超参数调优可从简单模型中解锁突破性性能。
• CARBS 在单次自动化调优运行中，不仅复现了 Chinchilla 项目中模型大小与训练样本数之间的缩放规律（Hoffmann et al., 2022），还同时发现了其他所有超参数的缩放规律。
• 消融研究显示，若移除关键组件（如基于帕累托的获取函数、成本钳制或重采样机制），性能显著下降，证实了每一项设计选择的必要性。
• CARBS 无需指定搜索边界或预算，实现完全自动化，适用于任何深度学习问题，包括实践中常被固定为常量的超参数（如训练时长）。