[论文解读] Transfer Learning for Bayesian Optimization: A Survey
一份全面的综述，将贝叶斯优化中的迁移学习方法按初始点、搜索空间、代理模型、获取函数进行分类，并提供一个通用框架和应用场景。
A wide spectrum of design and decision problems, including parameter tuning, A/B testing and drug design, intrinsically are instances of black-box optimization. Bayesian optimization (BO) is a powerful tool that models and optimizes such expensive "black-box" functions. However, at the beginning of optimization, vanilla Bayesian optimization methods often suffer from slow convergence issue due to inaccurate modeling based on few trials. To address this issue, researchers in the BO community propose to incorporate the spirit of transfer learning to accelerate optimization process, which could borrow strength from the past tasks (source tasks) to accelerate the current optimization problem (target task). This survey paper first summarizes transfer learning methods for Bayesian optimization from four perspectives: initial points design, search space design, surrogate model, and acquisition function. Then it highlights its methodological aspects and technical details for each approach. Finally, it showcases a wide range of applications and proposes promising future directions.
研究动机与目标
- 激励并形式化朴素贝叶斯优化中的缓慢收敛，并展示以往任务如何加速当前优化。
- 提供一个统一的贝叶斯优化迁移学习方法的分类法，覆盖 BO 的各组件。
- 提出一个用于贝叶斯优化的通用迁移学习框架，以指导新方法的开发。
- 突出迁移学习增强的BO的潜在应用场景和未来发展方向。
提出的方法
- 基于要迁移什么以及在四个 BO 组件中如何迁移对迁移学习方法进行分类。
- 提出一个将初始点、评估器、代理模型、获取函数和搜索空间联系在一起的通用框架。
- 在迁移设置中详细介绍代理设计选项，包括高斯过程、贝叶斯神经网络、随机森林和树Parzen估计器。
- 讨论获取函数的迁移，包括多任务、基于集合GP的，以及基于强化学习的方法。
- 概述利用源任务信息的暖启动和搜索空间设计技术。
实验结果
研究问题
- RQ1来自源任务（t1..tK）的哪些可迁移信息可以提升目标任务（tT）在 BO 中的性能？
- RQ2如何在不产生过高成本或负迁移的情况下，将跨任务信息整合到 BO 的组件中？
- RQ3有哪些能够涵盖现有迁移学习 BO 方法并指导新方法的通用框架？
- RQ4哪些应用领域最能从迁移学习 BO 中获益，以及如何为现实世界问题进行设计？
主要发现
- 该综述提供了一个结构化的贝叶斯优化迁移学习方法分类法，覆盖初始点、代理模型、获取函数和搜索空间设计。
- 它强调先前任务如何为多个 BO 组件提供信息，同时承认诸如尺度异质和噪声等挑战。
- 提出一个通用的迁移学习框架，以指导未来在不同 BO 任务中的方法开发。
- 本文讨论了迁移学习 BO 可以有效应用的多种场景，并概述了有前景的未来方向。）
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。