[论文解读] Think Global and Act Local: Bayesian Optimisation over High-Dimensional Categorical and Mixed Search Spaces

Xingchen Wan, Loc Nguyen+4 more|arXiv (Cornell University)|Feb 14, 2021

Advanced Bandit Algorithms Research参考文献 47被引用 14

一句话总结

本文提出Casmopolitan，一种结合局部信任区域与定制核函数的贝叶斯优化方法，适用于高维类别型及混合变量空间，在实现最先进性能的同时具备理论收敛保证，并在现有基线方法中展现出更高的样本效率。

ABSTRACT

High-dimensional black-box optimisation remains an important yet notoriously challenging problem. Despite the success of Bayesian optimisation methods on continuous domains, domains that are categorical, or that mix continuous and categorical variables, remain challenging. We propose a novel solution -- we combine local optimisation with a tailored kernel design, effectively handling high-dimensional categorical and mixed search spaces, whilst retaining sample efficiency. We further derive convergence guarantee for the proposed approach. Finally, we demonstrate empirically that our method outperforms the current baselines on a variety of synthetic and real-world tasks in terms of performance, computational costs, or both.

研究动机与目标

• 为解决在类别型与混合变量搜索空间中高维黑箱优化的挑战，标准高斯过程方法因维度灾难与非连续结构而失效。
• 克服独热编码与标准核函数的局限性，后者加剧了维度灾难问题，且无法有效建模类别型结构。
• 开发一种样本高效、全局收敛的贝叶斯优化框架，在保持表达能力的同时可扩展至高维问题。
• 为类别型与混合变量空间的优化提供理论收敛保证，弥补先前研究的空白。

提出的方法

• 提出一种专为类别型与混合变量空间设计的新颖核函数，使高维离散域中的有效高斯过程回归成为可能。
• 采用局部信任区域策略，将优化限制在当前最优点的邻域内，以提升样本效率并避免过度探索。
• 使用基于高斯过程的代理模型，结合兼顾类别型与连续变量结构的混合核函数。
• 应用带局部优化的重启机制，以逃离次优局部极小值，实现向全局最大值的收敛。
• 通过假设存在一个在再生核希尔伯特空间（RKHS）中的函数，其在关键点处与目标函数匹配，推导出理论收敛性，从而获得遗憾上界。
• 利用信息增益上界与后验方差控制，确保在弱假设下实现收敛。

实验结果

研究问题

• RQ1 贝叶斯优化框架是否能在高维类别型与混合变量空间中实现全局收敛？
• RQ2 如何有效调整高斯过程代理模型，以处理类别型变量的非连续、无序特性？
• RQ3 局部信任区域是否能在不牺牲全局探索的前提下，提升高维离散优化中的样本效率与收敛性？
• RQ4 在具有非光滑、多峰特性的混合类别-连续空间中，可为收敛性提供哪些理论保证？
• RQ5 与现有基线方法相比，该方法在样本效率与计算成本方面的实证表现如何？

主要发现

• 所提出的Casmopolitan方法在涉及高维类别型与混合变量优化的合成任务与真实世界任务中均实现了最先进性能。
• Casmopolitan展现出卓越的样本效率，显著减少了达到最优解所需的函数评估次数，优于现有基线方法。
• 在弱假设下，该方法可收敛至全局最大值，其遗憾上界通过信息增益与后验方差控制理论推导得出。
• 实证结果表明，Casmopolitan在多样化基准任务中，无论在性能还是计算成本方面，均优于现有方法。
• 收敛性分析适用于纯类别型与混合变量设置，将贝叶斯优化的理论基础拓展至这些具有挑战性的领域。