[论文解读] Pre-trained Gaussian Processes for Bayesian Optimization

Zi Wang, George E. Dahl+6 more|arXiv (Cornell University)|Sep 16, 2021

Gaussian Processes and Bayesian Inference被引用 15

一句话总结

该论文提出 HyperBO，一种贝叶斯优化框架，通过基于 KL 散度的损失函数，在相关任务的数据上预训练高斯过程先验，从而实现更高效的超参数调优。该方法在复杂深度学习和多任务基准测试中，显著降低了遗憾值，并实现了比最先进基线方法快达 3 倍的收敛速度。

ABSTRACT

Bayesian optimization (BO) has become a popular strategy for global optimization of expensive real-world functions. Contrary to a common expectation that BO is suited to optimizing black-box functions, it actually requires domain knowledge about those functions to deploy BO successfully. Such domain knowledge often manifests in Gaussian process (GP) priors that specify initial beliefs on functions. However, even with expert knowledge, it is non-trivial to quantitatively define a prior. This is especially true for hyperparameter tuning problems on complex machine learning models, where landscapes of tuning objectives are often difficult to comprehend. We seek an alternative practice for setting these functional priors. In particular, we consider the scenario where we have data from similar functions that allow us to pre-train a tighter distribution a priori. We detail what pre-training entails for GPs using a KL divergence based loss function, and propose a new pre-training based BO framework named HyperBO. Theoretically, we show bounded posterior predictions and near-zero regrets for HyperBO without assuming the "ground truth" GP prior is known. To verify our approach in realistic setups, we collect a large multi-task hyperparameter tuning dataset by training tens of thousands of configurations of near-state-of-the-art deep learning models on popular image and text datasets, as well as a protein sequence dataset. Our results show that on average, HyperBO is able to locate good hyperparameters at least 3 times more efficiently than the best competing methods on both our new tuning dataset and existing multi-task BO benchmarks.

研究动机与目标

• 为解决在缺乏领域知识或专家经验时，难以指定信息性先验的问题。
• 通过从相关任务的数据中学习函数先验，实现先验指定的自动化，减少对专家直觉的依赖。
• 开发一种可扩展的、数据驱动的高斯过程先验学习框架，以提升贝叶斯优化中后验泛化能力。
• 证明预训练的高斯过程可带来更优的优化性能，尤其在复杂、高维的超参数调优场景中。
• 在不假设已知真实高斯过程先验的前提下，为遗憾值和后验一致性提供理论保证。

提出的方法

• 使用基于 KL 散度的损失函数，对高斯过程先验进行预训练，使其函数分布与相关任务中观测到的函数对齐。
• 利用大规模多任务超参数调优数据集——包含数万个深度学习模型配置——来训练高斯过程先验。
• 将预训练的高斯过程作为贝叶斯优化中的先验，替代人工指定的核函数或先验。
• 将预训练的高斯过程集成到 GP-UCB 获取函数中，用于主动学习和不确定性感知探索。
• 理论分析表明，在温和假设下，即使存在模型误设，后验预测仍保持有界，遗憾值接近零。
• 利用信息增益和互信息界来控制遗憾值并确保收敛性。

实验结果

研究问题

• RQ1 在相关任务上预训练高斯过程先验，能否提升贝叶斯优化在超参数调优中的性能？
• RQ2 在复杂的深度学习环境中，HyperBO 与标准贝叶斯优化方法及随机搜索相比，性能如何？
• RQ3 使用预训练高斯过程时，能否为遗憾值和后验准确性提供理论保证？
• RQ4 先验学习在多大程度上减少了对专家指定的核超参数的需求？
• RQ5 预训练的高斯过程能否在图像分类、自然语言处理和蛋白质序列建模等多样化任务间实现泛化？

主要发现

• 在新构建的多任务调优数据集和经典基准测试中，HyperBO 的超参数搜索效率至少比最优竞争方法高出 3 倍。
• 与非预训练的高斯过程相比，预训练的高斯过程先验在优化早期阶段即展现出显著更优的后验均值和不确定性估计。
• 理论分析表明，即使真实高斯过程先验未知，HyperBO 仍能实现接近零的遗憾值和有界的后验预测。
• 该方法通过利用相关任务间的共享函数结构，提升了样本效率，从而降低了遗憾值。
• 实证结果表明，对多样化深度学习配置进行预训练，可生成在图像、文本和生物序列任务中均具有良好泛化能力的先验。
• 基于 KL 的预训练目标能有效捕捉训练数据中的函数相关性和平滑性模式，从而提升优化保真度。