[论文解读] Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization

Jingfan Chen, Guanghui Zhu+2 more|arXiv (Cornell University)|May 29, 2020

Machine Learning and Data Classification参考文献 36被引用 6

一句话总结

该论文提出SILBO，一种用于高维贝叶斯优化的半监督、迭代嵌入学习框架，通过利用已标记点（采集函数评估）和未标记点（随机或候选点）动态更新低维投影矩阵。通过结合半监督降维与随机广义特征值计算，SILBO在合成函数和神经网络超参数调优任务中相比最先进方法展现出更优的优化性能。

ABSTRACT

Bayesian optimization is a broadly applied methodology to optimize the expensive black-box function. Despite its success, it still faces the challenge from the high-dimensional search space. To alleviate this problem, we propose a novel Bayesian optimization framework (termed SILBO), which finds a low-dimensional space to perform Bayesian optimization iteratively through semi-supervised dimension reduction. SILBO incorporates both labeled points and unlabeled points acquired from the acquisition function to guide the embedding space learning. To accelerate the learning procedure, we present a randomized method for generating the projection matrix. Furthermore, to map from the low-dimensional space to the high-dimensional original space, we propose two mapping strategies: $ ext{SILBO}_{FZ}$ and $ ext{SILBO}_{FX}$ according to the evaluation overhead of the objective function. Experimental results on both synthetic function and hyperparameter optimization tasks demonstrate that SILBO outperforms the existing state-of-the-art high-dimensional Bayesian optimization methods.

研究动机与目标

• 通过学习有效的低维嵌入空间来缓解贝叶斯优化中的维度灾难问题。
• 克服现有方法中静态投影矩阵和仅监督学习降维的局限性。
• 通过在嵌入学习中同时利用已标记和未标记点，降低计算成本。
• 通过一种随机化方法求解高维广义特征值问题，加速学习过程。
• 基于目标函数评估成本，提供两种高效映射策略——SILBO-BU与SILBO-TD。

提出的方法

• SILBO采用迭代框架，在每次贝叶斯优化迭代中，利用已标记点（由采集函数选择）和未标记点（随机采样）更新投影矩阵。
• 应用半监督降维方法，学习一个能保持高维目标函数内在结构的低维嵌入空间。
• 引入一种随机算法，高效求解嵌入学习步骤中的广义特征值问题，降低时间复杂度。
• 提出两种映射策略：SILBO-BU（自底向上）适用于低成本目标，SILBO-TD（自顶向下）适用于高成本目标，以最小化重复评估开销。
• 将学习到的嵌入集成到高斯过程代理模型中，实现样本高效的全局优化。
• 定期使用来自采集函数的新数据重新训练投影矩阵，实现自适应与动态子空间学习。

实验结果

研究问题

• RQ1 在高维贝叶斯优化中，结合已标记与未标记点的半监督学习是否能提升低维嵌入的质量？
• RQ2 与静态或一次性投影学习相比，投影矩阵的迭代动态更新是否能带来更优的优化性能？
• RQ3 针对广义特征值问题的随机化算法是否能显著加速嵌入学习过程而不损失准确性？
• RQ4 在不同目标函数评估成本下，不同映射策略（SILBO-BU与SILBO-TD）如何影响优化效率？
• RQ5 SILBO在合成函数与真实世界超参数调优任务中，相较于现有最先进高维贝叶斯优化方法，性能提升程度如何？

主要发现

• SILBO在合成函数（如1000维Branin、Hartmann6、Colville）和神经网络超参数调优任务中，均优于最先进高维贝叶斯优化方法。
• 半监督降维（SILBO-semi）相比仅监督方法（SILBO-only-labeled）显著提升了优化性能，证明了未标记数据的价值。
• 使用采集函数生成点进行迭代学习（SILBO-random+acquisition）持续找到比仅使用随机初始点（SILBO-only-random）更优的解，证实了动态嵌入更新的有效性。
• 优化性能随投影矩阵更新频率降低而提升，表明低频但信息量充足的更新比高频但信息不足的更新更有效。
• SILBO-BU在低成本函数上效率高，而SILBO-TD在高成本目标上保持了有竞争力的运行时间，验证了双映射策略设计的合理性。
• 针对广义特征值问题的随机化算法降低了计算成本，使高维场景下的可扩展嵌入学习成为可能。