[论文解读] Transfer Learning with Gaussian Processes for Bayesian Optimization

Petru Tighineanu, Kathrin Skubch+4 more|arXiv (Cornell University)|Nov 22, 2021

Gaussian Processes and Bayesian Inference参考文献 14被引用 5

一句话总结

本文提出了一种贝叶斯优化中高斯过程迁移学习的统一框架，引入了一种新颖的闭式提升高斯过程模型（SHGP），在计算效率与不确定性传播之间实现了平衡。结果表明，建模源任务不确定性可提升性能，尤其在高噪声或数据有限的情况下，SHGP在具有挑战性的低数据场景下优于完整的联合模型和非贝叶斯集成模型。

ABSTRACT

Bayesian optimization is a powerful paradigm to optimize black-box functions based on scarce and noisy data. Its data efficiency can be further improved by transfer learning from related tasks. While recent transfer models meta-learn a prior based on large amount of data, in the low-data regime methods that exploit the closed-form posterior of Gaussian processes (GPs) have an advantage. In this setting, several analytically tractable transfer-model posteriors have been proposed, but the relative advantages of these methods are not well understood. In this paper, we provide a unified view on hierarchical GP models for transfer learning, which allows us to analyze the relationship between methods. As part of the analysis, we develop a novel closed-form boosted GP transfer model that fits between existing approaches in terms of complexity. We evaluate the performance of the different approaches in large-scale experiments and highlight strengths and weaknesses of the different transfer-learning methods.

研究动机与目标

• 为填补现有基于高斯过程的贝叶斯优化迁移学习方法在理解与统一方面的空白。
• 开发一种计算高效且具备不确定性感知能力的迁移模型，弥合完整联合模型与非贝叶斯集成模型之间的差距。
• 评估源数据量、观测噪声及不确定性传播对优化性能的影响。
• 在不同低数据与噪声条件下，对分层高斯过程模型进行系统性比较。

提出的方法

• 提出一种统一的分层高斯过程框架，通过共享核函数与任务特定均值函数对任务特异性和共享成分进行建模。
• 引入一种新颖的闭式提升高斯过程迁移学习模型（SHGP），在保留解析可塑性的同时结合源任务与目标任务数据。
• 通过边际化源任务不确定性推导出闭式后验分布，实现无需蒙特卡洛采样的高效推理。
• 采用分层先验结构，使目标高斯过程的均值从基于源数据训练的高斯过程先验中抽取，从而实现知识迁移。
• 使用联合似然形式化，使源任务与目标任务的不确定性均能获得完整的贝叶斯处理。
• 采用类似多保真度的结构，将源数据视为相关函数的噪声观测，不确定性在模型中实现传播。

实验结果

研究问题

• RQ1 在低数据与高噪声条件下，不同基于高斯过程的迁移学习方法在性能、计算成本与不确定性传播方面如何比较？
• RQ2 源数据量与观测噪声对贝叶斯与非贝叶斯迁移模型相对性能有何影响？
• RQ3 能否设计一种模型，在完整联合模型与非贝叶斯集成模型之间实现中等复杂度，同时保持不确定性量化能力？
• RQ4 当源数据有限或噪声较大时，不确定性传播如何影响优化性能？

主要发现

• 在中等数据规模（如60–250个源点）下，SHGP的性能与完整分层高斯过程（HGP）相当，但计算效率显著更高。
• 在高观测噪声（σ = 0.1）条件下，SHGP与BHGP优于非贝叶斯方法（如MHGP与RGPE），归因于更准确的不确定性传播。
• 当源数据不足（如30个点）时，联合模型（如HGP与WSGP）优于SHGP，证实低数据场景下需完整不确定性建模。
• 随着源数据增加（如500个点），所有方法性能趋同，表明进一步增加不确定性建模的收益递减。
• 随着观测噪声增加，贝叶斯与非贝叶斯方法的性能差距扩大，验证了不确定性传播的重要性。
• 所提出的SHGP模型在计算效率与不确定性准确性之间实现了有效平衡，适用于数据有限且代价高昂或破坏性实验的场景。