[论文解读] No-regret Algorithms for Multi-task Bayesian Optimization

Sayak Ray Chowdhury, Aditya Gopalan|arXiv (Cornell University)|Aug 20, 2020

Gaussian Processes and Bayesian Inference参考文献 48被引用 4

一句话总结

本文提出了两种新颖的多任务贝叶斯优化算法 MT-KB 和 MT-BKB，通过利用多任务核函数和随机标量化方法，高效优化具有共享结构的向量值函数。作者首次建立了显式捕捉任务间相似性的多目标贝叶斯优化有限时间 regret 边界，通过理论保证和在合成数据集与真实世界数据集上的实证验证，证明了其更高的样本效率。

ABSTRACT

We consider multi-objective optimization (MOO) of an unknown vector-valued function in the non-parametric Bayesian optimization (BO) setting, with the aim being to learn points on the Pareto front of the objectives. Most existing BO algorithms do not model the fact that the multiple objectives, or equivalently, tasks can share similarities, and even the few that do lack rigorous, finite-time regret guarantees that capture explicitly inter-task structure. In this work, we address this problem by modelling inter-task dependencies using a multi-task kernel and develop two novel BO algorithms based on random scalarizations of the objectives. Our algorithms employ vector-valued kernel regression as a stepping stone and belong to the upper confidence bound class of algorithms. Under a smoothness assumption that the unknown vector-valued function is an element of the reproducing kernel Hilbert space associated with the multi-task kernel, we derive worst-case regret bounds for our algorithms that explicitly capture the similarities between tasks. We numerically benchmark our algorithms on both synthetic and real-life MOO problems, and show the advantages offered by learning with multi-task kernels.

研究动机与目标

• 为解决多目标贝叶斯优化（MOO）中缺乏显式建模任务间依赖关系的有限时间 regret 保证的问题。
• 开发能够利用多个目标之间相似性的算法，以提高黑箱优化中的样本效率。
• 提供反映任务相似程度的理论 regret 边界，而非将目标独立处理。
• 将向量值核岭回归与 Nystroem 近似方法整合进 UCB 风格框架，实现可扩展的多任务 MOO。
• 在合成数据和真实世界 MOO 问题上实证验证所提算法，结果表明其优于独立优化和基线方法。

提出的方法

• 算法通过向量值目标的随机标量化，将多目标优化转化为一系列单目标问题。
• 采用多任务核函数对目标间的相关性进行建模，实现相关任务间的共享学习。
• 使用向量值核岭回归作为代理模型，对联合目标函数进行估计并量化不确定性。
• 算法遵循上置信度（UCB）原则，基于预测改进与不确定性的平衡选择下一个评估点。
• MT-BKB 应用 Nystroem 近似以降低计算成本，实现对大规模数据集的可扩展性。
• 理论分析推导出向量值函数估计的新浓度不等式，从而得出依赖于任务相似性和核结构的 regret 边界。

实验结果

研究问题

• RQ1 在多目标设置下，具有共享核结构的多任务贝叶斯优化是否能实现优于独立优化的 regret 性能？
• RQ2 任务间的相似性如何影响多目标 BO 算法的有限时间 regret？
• RQ3 随机标量化能否与多任务核函数有效结合，以保持对帕累托前沿探索的灵活性？
• RQ4 使用 Nystroem 近似对多任务 BO 的 regret 和计算效率有何影响？
• RQ5 与现有方法相比，所提算法是否实现了显式反映任务相似性的更紧致 regret 边界？

主要发现

• 所提 MT-KB 和 MT-BKB 算法实现了有限时间 regret 边界，其显式依赖于通过多任务核函数捕捉的任务间相似性结构。
• 该 regret 边界是首个针对多目标贝叶斯优化的最坏情况（频率学派）保证，基于针对向量值函数估计的新浓度不等式推导得出。
• 实证结果表明，MT-KB 和 MT-BKB 在合成数据和真实传感器数据上，无论是时间平均累积 regret 还是贝叶斯 regret，均优于独立任务基线（IT-KB, IT-BKB）和 MOBO 方法。
• MT-BKB 中使用 Nystroem 近似实现了可扩展的推理，同时保持理论保证，使其适用于更大规模问题。
• 在英特尔伯克利实验室的真实传感器数据上，即使未进行超参数调优，算法也表现出优于基线的收敛速度和鲁棒性。
• 当核函数在任务和输入域上可分解时，算法实现简单，且在各类问题类型（包括 RKHS 和扰动正弦函数）中均保持优异性能。