[论文解读] Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly

Kirthevasan Kandasamy, Karun Raju Vysyaraju+6 more|arXiv (Cornell University)|Mar 15, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 82被引用 45

一句话总结

Dragonfly 是一个开源的贝叶斯优化库，设计用于可扩展且鲁棒的超参数调优、多忠实度优化、神经体系结构搜索，以及并行评估。它结合多种获取策略和鲁棒建模，在各种问题中表现良好。

ABSTRACT

Bayesian Optimisation (BO) refers to a suite of techniques for global optimisation of expensive black box functions, which use introspective Bayesian models of the function to efficiently search for the optimum. While BO has been applied successfully in many applications, modern optimisation tasks usher in new challenges where conventional methods fail spectacularly. In this work, we present Dragonfly, an open source Python library for scalable and robust BO. Dragonfly incorporates multiple recently developed methods that allow BO to be applied in challenging real world settings; these include better methods for handling higher dimensional domains, methods for handling multi-fidelity evaluations when cheap approximations of an expensive function are available, methods for optimising over structured combinatorial spaces, such as the space of neural network architectures, and methods for handling parallel evaluations. Additionally, we develop new methodological improvements in BO for selecting the Bayesian model, selecting the acquisition function, and optimising over complex domains with different variable types and additional constraints. We compare Dragonfly to a suite of other packages and algorithms for global optimisation and demonstrate that when the above methods are integrated, they enable significant improvements in the performance of BO. The Dragonfly library is available at dragonfly.github.io.

研究动机与目标

• 在代价高昂的黑箱设置中，激发对高效超参数调优的需求。
• 开发一个可扩展的贝叶斯优化框架，适用于高维、多忠实度和结构化搜索空间。
• 通过随机化的获取策略和模型选择提高贝叶斯优化的鲁棒性。
• 在一个库中实现包括 NAS 和并行评估在内的实际应用。

提出的方法

• 将 Dragonfly 作为一个可扩展且鲁棒的贝叶斯优化库引入。
• 实现可加 GP 模型以通过 Add-GP-UCB 处理高维定义域。
• 将多忠实度贝叶斯优化正式化为使用乘积核的模型，并通过一个两步获取选择保留保真度和输入。
• 使用基于最优传输的距离 (OTMANN) 定义神经架构的核并通过进化搜索来导航获取，以开发 NASBOT。
• 通过幻觉（hallucination）实现并行评估，Thompson 采样除外。
• 采用随机化的获取策略以提高在不同问题中的鲁棒性。

实验结果

研究问题

• RQ1 Dragonfly 是否能够在高维和多忠实度设置中实现可扩展的贝叶斯优化？
• RQ2 与单一固定设置相比，使用随机化的获取策略和模型选择是否会提高鲁棒性？
• RQ3 可加 GP 模型、NASBOT 与并行评估策略在合成基准和实际任务中的性能如何？
• RQ4 多忠实度和 NAS 适配能否在一个单一的贝叶斯优化框架中有效整合？

主要发现

• Dragonfly 通过利用可加 GP 结构来降低维度和获取优化成本，从而实现可扩展的贝叶斯优化。
• 你描述的多忠实度 BOBO（BOCA）提供了一种在忠实度之间对成本与信息进行原理性权衡的方法。
• NASBOT 使用基于 OTMANN 的神经架构距离来定义核，并采用进化搜索来导航 NAS 空间。
• 随机化获取在各种问题上提高鲁棒性和性能，相较于选择单一固定获取。
• Dragonfly 在计算天体物理和模型选择的合成基准和实际任务中表现出具有竞争力或优越的性能。