[论文解读] Solving Black-Box Optimization Challenge via Learning Search Space Partition for Local Bayesian Optimization

Mikita Sazanovich, Anastasiya Nikolskaya+2 more|arXiv (Cornell University)|Dec 18, 2020

Machine Learning and Data Classification被引用 6

一句话总结

该论文提出SPBOpt，一种新颖的黑箱优化算法，通过学习搜索空间的划分来增强局部贝叶斯优化。通过结合多任务贝叶斯优化，利用本地和远程评估数据来调优其超参数，SPBOpt在NeurIPS 2020黑箱优化挑战赛中获得第三名，优于SOTA基线方法TuRBO，在最终轮次表现更优。

ABSTRACT

Black-box optimization is one of the vital tasks in machine learning, since it approximates real-world conditions, in that we do not always know all the properties of a given system, up to knowing almost nothing but the results. This paper describes our approach to solving the black-box optimization challenge at NeurIPS 2020 through learning search space partition for local Bayesian optimization. We describe the task of the challenge as well as our algorithm for low budget optimization that we named \ exttt{SPBOpt}. We optimize the hyper-parameters of our algorithm for the competition finals using multi-task Bayesian optimization on results from the first two evaluation settings. Our approach has ranked third in the competition finals.

研究动机与目标

• 为解决真实世界机器学习超参数调优场景中的低预算黑箱优化问题。
• 提升在高维、低预算设置下贝叶斯优化的样本效率和性能。
• 开发一种方法，通过基于先前观测结果对超参数空间进行划分，学习在何处进行搜索。
• 利用元优化方法，在本地和远程评估数据上对SPBOpt算法自身的超参数进行优化。
• 在严格的迭代次数和预算约束下，实现对多样化测试案例（包括合成问题和真实世界机器学习问题）的稳健性能。

提出的方法

• SPBOpt使用拉丁超立方采样结合比例采样进行初始采样阶段，以生成多样化的起始点。
• 在动态学习到的兴趣区域中，应用带有高斯过程代理模型和期望改进获取函数的局部贝叶斯优化。
• 该算法使用支持向量机（SVM）学习搜索空间划分，基于历史性能识别有希望的子区域。
• 划分模型基于过往评估结果进行训练，并迭代更新以优化搜索区域。
• SPBOpt的超参数（包括初始化点、核函数类型、正则化和衰减）通过在本地和远程评估设置下进行多任务贝叶斯优化进行调优。
• 最终候选配置通过Wilcoxon符号秩检验选择，以确保在评估运行中性能的统计显著性。

实验结果

研究问题

• RQ1 学习到的搜索空间划分是否能提升局部贝叶斯优化在低预算黑箱优化中的样本效率和性能？
• RQ2 结合本地和远程评估数据如何提升优化算法超参数调优的鲁棒性？
• RQ3 对优化算法本身采用元优化方法是否能提升其在未见测试案例上的泛化能力？
• RQ4 SPBOpt在最终目标值和不同评估设置下的稳定性方面，与SOTA基线方法如TuRBO和hyperopt相比如何？
• RQ5 对远程评估服务器的过拟合在多大程度上影响最终比赛表现，以及如何缓解这一问题？

主要发现

• SPBOpt在NeurIPS 2020黑箱优化挑战赛决赛中获得92.509的最终得分，总排名第三。
• 该算法优于最佳基线方法TuRBO（决赛得分为88.921），表现出更优的鲁棒性。
• 所有SPBOpt配置在本地评估中均优于标准基线，其中最佳配置（SPBOpt 2）的平均得分为98.898。
• 远程评估显示，大多数配置的平均得分超过97分，其中SPBOpt 5得分为97.505 ± 0.117。
• 最终选择基于Wilcoxon符号秩检验，确认SPBOpt 2显著优于其他配置。
• 从远程评估到最终评估的性能下降表明，许多算法在远程服务器上存在过拟合，而SPBOpt的元调优方法增强了泛化能力。