[论文解读] Sequential Model-Based Ensemble Optimization

Alexandre Lacoste, Hugo Larochelle+2 more|arXiv (Cornell University)|Feb 4, 2014

Machine Learning and Data Classification参考文献 9被引用 20

一句话总结

本文提出顺序模型基于集成优化（ESMBO），作为SMBO的扩展，通过利用无模型贝叶斯学习自动构建高性能模型集成。通过将SMBO扩展至无限的超参数配置空间，并采用贝叶斯集成平均方法对模型进行加权，ESMBO在22个回归和39个分类数据集上的超参数调优中始终优于标准SMBO。

ABSTRACT

One of the most tedious tasks in the application of machine learning is model selection, i.e. hyperparameter selection. Fortunately, recent progress has been made in the automation of this process, through the use of sequential model-based optimization (SMBO) methods. This can be used to optimize a cross-validation performance of a learning algorithm over the value of its hyperparameters. However, it is well known that ensembles of learned models almost consistently outperform a single model, even if properly selected. In this paper, we thus propose an extension of SMBO methods that automatically constructs such ensembles. This method builds on a recently proposed ensemble construction paradigm known as agnostic Bayesian learning. In experiments on 22 regression and 39 classification data sets, we confirm the success of this proposed approach, which is able to outperform model selection with SMBO.

研究动机与目标

• 解决自动模型集成构建的挑战，其繁琐程度与超参数调优相当，但缺乏可扩展的自动化手段。
• 克服现有集成方法依赖人工选择或对模型组合进行网格搜索的局限性。
• 将顺序模型基于优化（SMBO）扩展为生成集成而非单个模型，以提升泛化性能。
• 将无模型贝叶斯学习整合到SMBO中，实现在不依赖真实风险先验知识的前提下实现最优集成加权。
• 开发一种在保持SMBO效率的同时，通过集成平均实现更好泛化性能的方法。

提出的方法

• 将SMBO调整为同时优化多个超参数配置，偏离标准的顺序更新方式，以探索多样化的模型族。
• 利用无模型贝叶斯框架根据模型的实证表现分配最优权重，最小化期望风险，且不假设真实模型存在于假设空间中。
• 通过自助采样法估计无模型贝叶斯权重，以在优化过程中实现高效且稳定的集成构建。
• 在超参数空间上维持一个代理模型（如高斯过程）以指导搜索，但将其扩展为预测集成性能而非单个模型性能。
• 在SMBO优化步骤与集成评估之间交替进行，使算法能够学习哪些超参数组合能产生最鲁棒的集成预测。
• 通过复用已训练模型并避免重新训练来确保计算效率，且在推理阶段无额外开销。

实验结果

研究问题

• RQ1 能否将SMBO扩展为优化集成性能而非单个模型性能？
• RQ2 通过无模型贝叶斯加权组合多个超参数配置，是否能实现超越最优单个模型的泛化性能？
• RQ3 所提出的集成优化SMBO与标准SMBO及随机搜索相比，收敛速度和性能如何？
• RQ4 在哪些超参数空间中，集成优化相较于单模型选择能带来最大收益？
• RQ5 所提出方法是否能在探索更大模型组合空间的同时，保持或提升收敛速度？

主要发现

• ESMBO在22个回归和39个分类数据集上显著优于标准SMBO，配对比较中胜率最高。
• 在12个超参数空间中的10个（包括多层感知机和支持向量回归等复杂模型）中，ESMBO相对于SMBO实现了统计上显著的性能提升。
• ESMBO的期望排名始终低于SMBO和随机搜索，多层感知机上的平均期望排名为1.92，随机森林上为2.25。
• 时间序列分析表明，ESMBO通常从最初几次迭代起即优于SMBO，收敛速度未下降，且在某些情况下早期收敛更快。
• 在最具挑战性的超参数空间——如多层感知机和支持向量回归中，ESMBO对SMBO的胜率分别达到76%和75%。
• 该方法在多种算法和数据集上表现出鲁棒性，且在推理阶段无显著计算开销。