[论文解读] Provably Efficient Online Hyperparameter Optimization with Population-Based Bandits

Jack Parker-Holder, Loc Nguyen+1 more|arXiv (Cornell University)|Feb 6, 2020

Advanced Bandit Algorithms Research被引用 36

一句话总结

PB2 通过使用时变高斯过程带来可证明高效的 PBT 风格算法，以引导超参数日程，在更小的种群规模下实现次线性遗憾界和更好的强化学习性能。它在并行训练设置中用系统的贝叶斯优化取代启发式探索。

ABSTRACT

Many of the recent triumphs in machine learning are dependent on well-tuned hyperparameters. This is particularly prominent in reinforcement learning (RL) where a small change in the configuration can lead to failure. Despite the importance of tuning hyperparameters, it remains expensive and is often done in a naive and laborious way. A recent solution to this problem is Population Based Training (PBT) which updates both weights and hyperparameters in a single training run of a population of agents. PBT has been shown to be particularly effective in RL, leading to widespread use in the field. However, PBT lacks theoretical guarantees since it relies on random heuristics to explore the hyperparameter space. This inefficiency means it typically requires vast computational resources, which is prohibitive for many small and medium sized labs. In this work, we introduce the first provably efficient PBT-style algorithm, Population-Based Bandits (PB2). PB2 uses a probabilistic model to guide the search in an efficient way, making it possible to discover high performing hyperparameter configurations with far fewer agents than typically required by PBT. We show in a series of RL experiments that PB2 is able to achieve high performance with a modest computational budget.

研究动机与目标

• 促成在超参数随时间变化的强化学习中进行高效的自动化超参数优化。
• 用理论上有据可依、基于高斯过程的带洞策略取代启发式的 PBT 探索。
• 为 PBT 风格算法提供遗憾界，并在强化学习基准上展示实际改进。

提出的方法

• 将时变超参数优化建模为含时变核的批量高斯过程（GP）带评估问题。
• 使用时变核捕捉神经网络训练动态中的非平稳性（K = SE ∘ K_time）。
• 通过顺序最大化考虑待评估的获取函数来为并行代理选择一批超参数。
• 在温和的光滑性和利普希茨条件下为 PB2 证明一个次线性遗憾界（定理 2）。
• 在 OpenAI Gym 和 IMPALA 任务上进行对比实验，展示 PB2 相对于 PBT、RS、BO 和 ASHA 的表现。

实验结果

研究问题

• RQ1 PB2 是否能够在时变超参数优化设置中实现次线性遗憾？
• RQ2 基于 GP 的时变探索策略是否在强化学习任务中优于启发式 PBT 探索？
• RQ3 在更小的种群规模以及超参数范围指派错位的情况下，PB2 的表现如何？
• RQ4 PB2 能否随着更大种群规模以及像 IMPALA 这样的有竞争力的 RL 基准进行扩展？
• RQ5 与现有基线相比，PB2 对样本效率和最终 RL 性能的实际影响是什么？

主要发现

• PB2 在多个任务中实现了与 PBT、RS、BO、ASHA 相当或更优的最终 RL 性能。
• 在更小的种群规模下，PB2 优于 PBT，并且在 IMPALA 实验中常常达到或超过手工调优的基线。
• 当超参数范围设定错误时，PB2 仍然具有鲁棒性，在 PBT 下降的场景中保持强劲表现。
• 理论结果：PB2 取得次线性遗憾界，随更大种群规模(B)和更相关的时变函数（ω 越低）而提升。
• PB2 能在单次训练中在线学习超参数日程，相较于传统的分批 BO 方法降低了计算负担。