[论文解读] Population Based Training of Neural Networks

Max Jaderberg, Valentin Dalibard+10 more|arXiv (Cornell University)|Nov 27, 2017

Machine Learning and Data Classification被引用 249

一句话总结

基于群体的训练（PBT）在一个模型群体中，在线且异步地联合优化神经网络权重和超参数，以产生自适应的超参数调度并提升最终性能。

ABSTRACT

Neural networks dominate the modern machine learning landscape, but their training and success still suffer from sensitivity to empirical choices of hyperparameters such as model architecture, loss function, and optimisation algorithm. In this work we present \emph{Population Based Training (PBT)}, a simple asynchronous optimisation algorithm which effectively utilises a fixed computational budget to jointly optimise a population of models and their hyperparameters to maximise performance. Importantly, PBT discovers a schedule of hyperparameter settings rather than following the generally sub-optimal strategy of trying to find a single fixed set to use for the whole course of training. With just a small modification to a typical distributed hyperparameter training framework, our method allows robust and reliable training of models. We demonstrate the effectiveness of PBT on deep reinforcement learning problems, showing faster wall-clock convergence and higher final performance of agents by optimising over a suite of hyperparameters. In addition, we show the same method can be applied to supervised learning for machine translation, where PBT is used to maximise the BLEU score directly, and also to training of Generative Adversarial Networks to maximise the Inception score of generated images. In all cases PBT results in the automatic discovery of hyperparameter schedules and model selection which results in stable training and better final performance.

研究动机与目标

• 在神经网络训练中联合优化模型参数和超参数的必要性。
• 介绍一种简单的、异步的元优化方法，该方法利用一组模型来发现自适应的超参数调度。
• 在强化学习、机器翻译和GANs上展示PBT，以实现更快的收敛和更好的最终性能。
• 展示在线超参数适应和群体内模型选择可以改善训练稳定性和结果。

提出的方法

• 定义 eval 以在当前模型状态下衡量真实目标 Q。
• 在一个群体中用不同的超参数 h 训练 N 个模型，使用 step 更新参数 θ。
• 定期评估性能 p，并在就绪时执行利用（从表现较好的成员复制权重/超参数）和探索（扰动或重新采样超参数）。
• 在没有中心控制器的情况下异步运行，用 θ、h 和 p 来更新群体。
• 利用从表现更好的成员复制权重/超参数；探索对超参数进行扰动或重新采样以拓宽搜索。
• 将PBT应用于RL（UNREAL、Feudal Networks、在星际争霸II上的A3C）、机器翻译（WMT14 EN-DE 的Transformer）和GAN（Inception score）。

实验结果

研究问题

• RQ1 在线、异步、基于群体的优化能否超越传统的序列化或并行超参数调优？
• RQ2 由PBT发现的自适应、非平稳超参数调度是否在RL、MT和GAN领域带来更好的最终性能？
• RQ3 群体规模、利用策略和探索方法对PBT性能的影响是什么？
• RQ4 通过PBT对权重和超参数进行联合优化比固定的超参数调度或简单的随机/网格搜索更鲁棒吗？
• RQ5 PBT 是否能够在训练过程中实现对有效超参数调度（例如学习率衰减、展开长度）的自动发现？

主要发现

• PBT 在 DM Lab、Atari、StarCraft II、MT 和 GAN 任务上相对于随机搜索基线提升最终性能。
• 超参数在训练中自适应，自动发现诸如学习率衰减和展开长度等调度。
• 利用与在线模型选择在群体中传播好的解，提升稳定性和样本效率。
• 即使在相同的训练步数下，PBT 也能实现更高的最终性能，并且可以减少对大量手工调优的需求。
• 较小的群体会增加方差；20+个工作节点的群体提供稳定的改进，但在更大规模时收益递减。