[论文解读] Towards Assessing the Impact of Bayesian Optimization's Own Hyperparameters
本文研究了调整贝叶斯优化（BO）自身超参数的影响，表明优化这些设置可显著提升BO在多样化基准测试中的任意时间性能，包括人工函数、SVM超参数调优以及神经架构搜索。研究显示，经过优化的BO配置在相似问题上泛化良好，且出人意料地甚至可推广至不同问题族，其中核函数选择和长度尺度先验是高斯过程基BO中最具影响力的超参数。
Bayesian Optimization (BO) is a common approach for hyperparameter optimization (HPO) in automated machine learning. Although it is well-accepted that HPO is crucial to obtain well-performing machine learning models, tuning BO's own hyperparameters is often neglected. In this paper, we empirically study the impact of optimizing BO's own hyperparameters and the transferability of the found settings using a wide range of benchmarks, including artificial functions, HPO and HPO combined with neural architecture search. In particular, we show (i) that tuning can improve the any-time performance of different BO approaches, that optimized BO settings also perform well (ii) on similar problems and (iii) partially even on problems from other problem families, and (iv) which BO hyperparameters are most important.
研究动机与目标
- 探究调整贝叶斯优化（BO）自身超参数是否能提升超参数优化（HPO）中的性能。
- 评估经优化的BO超参数在相似与不相似问题族间的泛化能力。
- 识别在不同基准测试中对性能影响最大的BO超参数。
- 评估在函数评估次数有限等实际约束下，元优化BO超参数的可行性。
提出的方法
- 作者使用元优化器在多个函数族上调整目标贝叶斯优化系统的超参数。
- 在人工函数、SVM超参数优化以及小规模神经架构搜索基准上评估性能。
- 采用基于代理模型的方法以降低计算成本，使用文献中已建立的HPO基准。
- 通过迭代地从默认设置修改为优化设置，开展消融研究以识别最具影响力的因素。
- 研究使用三种预测模型：随机森林（RF）、基于最大似然估计的高斯过程（GP-ML），以及基于MAP估计的高斯过程（GP-MAP）。
- 性能通过任意时间遗憾（any-time regret）以及在留一函数排除场景下的泛化能力进行衡量。
实验结果
研究问题
- RQ1当为每个函数独立优化时，调整BO自身超参数的影响有多大？
- RQ2经优化的BO配置在同族新函数上的泛化能力如何？
- RQ3经优化的BO配置在不同问题族函数上的泛化能力如何？
- RQ4目标BO的哪些超参数最为关键，且其最优设置在不同基准族中如何变化？
主要发现
- 在所有测试的BO变体和基准族中，调整BO自身超参数始终能提升任意时间性能。
- 经优化的BO配置在相似问题上泛化良好，性能增益通常在同族新函数上仍能保持。
- 令人惊讶的是，基于不同问题族进行调优有时比在同族内调优表现更好，表明存在跨族迁移的潜力。
- 对于基于高斯过程的BO，核函数选择（如Matérn与RBF）以及长度尺度先验的边界是最具影响力的超参数之一。
- 对于基于随机森林的BO，交错随机采样概率、函数值变换方式以及当前最优解修正机制是关键因素。
- 仅有极少数超参数（通常少于六个）对性能提升贡献最大，表明并非所有超参数都需进行调优。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。