[论文解读] Overfitting in Bayesian Optimization: an empirical study and early-stopping solution

Anastasia Makarova, Huibin Shen+6 more|arXiv (Cornell University)|May 7, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 27被引用 9

一句话总结

本文研究了在超参数调优过程中贝叶斯优化（BO）的过拟合问题，表明即使验证指标有所提升，BO在小数据集上仍可能发生过拟合。本文提出了一种基于预测不确定性和模型拟合度的早停准则，以防止过拟合，在真实世界实验中，该方法在保持解决方案质量的同时，比基线方法更自适应地减少了不必要的迭代。

ABSTRACT

Tuning machine learning models with Bayesian optimization (BO) is a successful strategy to find good hyperparameters. BO defines an iterative procedure where a cross-validated metric is evaluated on promising hyperparameters. In practice, however, an improvement of the validation metric may not translate in better predictive performance on a test set, especially when tuning models trained on small datasets. In other words, unlike conventional wisdom dictates, BO can overfit. In this paper, we carry out the first systematic investigation of overfitting in BO and demonstrate that this issue is serious, yet often overlooked in practice. We propose a novel criterion to early stop BO, which aims to maintain the solution quality while saving the unnecessary iterations that can lead to overfitting. Experiments on real-world hyperparameter optimization problems show that our approach effectively meets these goals and is more adaptive comparing to baselines.

研究动机与目标

• 调查在超参数调优过程中，尤其是在小数据集上，贝叶斯优化的过拟合程度及其影响。
• 挑战一种传统假设，即验证指标的提升始终意味着测试性能的改善。
• 开发一种新颖的早停准则，以在防止过拟合的同时保持贝叶斯优化的解决方案质量。
• 在真实世界的超参数优化场景中，将所提方法与现有基线方法进行对比评估。

提出的方法

• 作者引入了一种新的停止准则，通过在贝叶斯优化迭代过程中监控预测不确定性与模型拟合度，以检测进一步优化可能引发过拟合的时机。
• 该准则结合了代理模型的不确定性估计与验证指标的变化，以确定何时停止优化过程。
• 该方法根据观察到的性能提升趋势和不确定性增长动态调整停止点。
• 该方法通过在小到中等规模数据集的真实世界超参数调优任务中使用交叉验证指标进行评估。
• 该停止规则设计轻量化，与标准贝叶斯优化框架兼容，除标准BO设置外无需额外超参数。
• 该方法与基于固定迭代次数或固定改进阈值的基线早停策略进行了对比。

实验结果

研究问题

• RQ1 当在小数据集上进行模型调优时，贝叶斯优化在验证指标持续提升的情况下，其过拟合程度如何？
• RQ2 在优化过程中，如何在不完全依赖验证性能的前提下，早期检测贝叶斯优化中的过拟合？
• RQ3 基于不确定性与模型拟合度的动态早停准则，能否有效防止过拟合，同时保持高质量的解决方案？
• RQ4 与固定迭代次数和固定改进阈值的基线方法相比，所提方法在泛化能力和效率方面表现如何？

主要发现

• 贝叶斯优化中的过拟合是一个严重且被低估的问题，尤其在小数据集上，即使验证指标在提升，该问题依然存在。
• 所提出的早停准则通过检测进一步迭代可能降低泛化性能的时机，成功防止了过拟合。
• 该方法在保持或提升最终测试性能的同时，减少了不必要的优化迭代，优于基线方法。
• 该方法在数据有限的场景下，相比固定迭代或固定改进的停止规则，展现出更强的自适应性。
• 在真实世界超参数调优问题上的实证结果表明，该方法能有效平衡解决方案质量与优化效率。
• 将预测不确定性作为停止信号，可提升对噪声或误导性验证指标的鲁棒性。