[论文解读] Tuning Mixed Input Hyperparameters on the Fly for Efficient Population Based AutoRL

Jack Parker-Holder, Loc Nguyen+2 more|arXiv (Cornell University)|Jun 30, 2021

Neural Networks and Applications被引用 4

一句话总结

本文提出了一种分层的、时变的多臂赌博机算法，将PB2扩展至在基于种群的强化学习中高效优化连续和分类超参数。通过建模数据增强（分类）与学习率（连续）之间的依赖关系，该方法在Procgen基准上实现了更好的泛化性能，并具备理论上的次线性遗憾保证。

ABSTRACT

Despite a series of recent successes in reinforcement learning (RL), many RL algorithms remain sensitive to hyperparameters. As such, there has recently been interest in the field of AutoRL, which seeks to automate design decisions to create more general algorithms. Recent work suggests that population based approaches may be effective AutoRL algorithms, by learning hyperparameter schedules on the fly. In particular, the PB2 algorithm is able to achieve strong performance in RL tasks by formulating online hyperparameter optimization as time varying GP-bandit problem, while also providing theoretical guarantees. However, PB2 is only designed to work for continuous hyperparameters, which severely limits its utility in practice. In this paper we introduce a new (provably) efficient hierarchical approach for optimizing both continuous and categorical variables, using a new time-varying bandit algorithm specifically designed for the population based training regime. We evaluate our approach on the challenging Procgen benchmark, where we show that explicitly modelling dependence between data augmentation and other hyperparameters improves generalization.

研究动机与目标

• 为解决PB2仅能优化连续超参数的局限性，通过在基于种群的训练中实现连续与分类超参数的高效联合优化。
• 通过建模分类超参数（如数据增强类型）与连续超参数（如学习率）之间的依赖关系，提升强化学习中的泛化性能。
• 设计一种可证明高效的分层赌博机算法，支持时变超参数调度，并具备次线性遗憾保证。
• 将该方法扩展至具有挑战性的Procgen基准，展示其在样本效率和性能上优于随机搜索基线。

提出的方法

• 提出一种新型的时变批次多臂赌博机算法，支持在基于种群的训练范式中同时处理连续与分类超参数。
• 提出一种分层设计：先选择分类超参数，再在选定类别下进行连续超参数的优化。
• 使用复合核函数，结合连续、分类和时变分量：$k_z = (1- heta)k_{\text{Continuous}}k_{\text{time1}} + \theta k_{\text{Categorical}}k_{\text{time2}}$，其中$\theta$控制混合比例。
• 采用GP-bandit框架并结合结构化核函数，以建模超参数间的交叉依赖关系，实现高效的探索。
• 通过反向传播计算GP模型的对数边际似然梯度，实现超参数优化。
• 将该方法应用于PBT中的在线超参数调度，实现在训练过程中动态适应，并具备理论遗憾边界。

实验结果

研究问题

• RQ1 时变赌博机算法能否在基于种群的强化学习设置中高效优化连续与分类超参数？
• RQ2 显式建模数据增强（分类）与学习率（连续）超参数之间的依赖关系，是否能提升强化学习中的泛化性能？
• RQ3 所提出的分层赌博机方法是否具备可证明的高效性，即使在混合分类与连续变量时仍具有次线性遗憾保证？
• RQ4 该方法在复杂基准（如Procgen）上是否具备可扩展性？其在样本效率和性能上与随机搜索基线相比如何？

主要发现

• 所提方法在超参数优化中实现了次线性遗憾，将PB2的理论保证扩展至混合超参数空间。
• 显式建模数据增强类型与学习率之间的依赖关系，相较于在增强类型上随机搜索，可在Procgen基准上实现更好的泛化性能。
• 分层赌博机方法在样本效率上优于标准PBT与PB2，通过有效利用分类与连续超参数的交互关系实现性能提升。
• 实验结果表明，当超参数调度考虑增强类型时，该方法在多样化的Procgen环境中展现出更强的泛化能力。