[论文解读] Optimizing Ensemble Weights and Hyperparameters of Machine Learning Models for Regression Problems

Mohsen Shahhosseini, Guiping Hu+1 more|arXiv (Cornell University)|Aug 14, 2019

Machine Learning and Data Classification被引用 9

一句话总结

本文提出 GEM-ITH，一种嵌套优化框架，通过贝叶斯超参数搜索和启发式方法生成多样化基学习器，联合调优回归模型的超参数和集成权重。该方法在十个公开数据集上通过同时优化模型权重和内部超参数，提升了预测性能，展现出优于标准堆叠方法的泛化能力。

ABSTRACT

Aggregating multiple learners through an ensemble of models aim to make better predictions by capturing the underlying distribution of the data more accurately. Different ensembling methods, such as bagging, boosting, and stacking/blending, have been studied and adopted extensively in research and practice. While bagging and boosting focus more on reducing variance and bias, respectively, stacking approaches target both by finding the optimal way to combine base learners. In stacking with the weighted average, ensembles are created from weighted averages of multiple base learners. It is known that tuning hyperparameters of each base learner inside the ensemble weight optimization process can produce better performing ensembles. To this end, an optimization-based nested algorithm that considers tuning hyperparameters as well as finding the optimal weights to combine ensembles (Generalized Weighted Ensemble with Internally Tuned Hyperparameters (GEM-ITH)) is designed. Besides, Bayesian search was used to speed-up the optimizing process, and a heuristic was implemented to generate diverse and well-performing base learners. The algorithm is shown to be generalizable to real data sets through analyses with ten publicly available data sets.

研究动机与目标

• 为解决传统集成方法仅单独优化权重或超参数所导致的次优性能问题。
• 开发一种统一框架，联合优化回归任务中基学习器的集成权重与超参数。
• 通过启发式方法生成多样化且高性能的基学习器，提升模型泛化能力与预测准确性。
• 通过在嵌套算法结构中使用贝叶斯超参数调优，加速优化过程。
• 在多样化的现实世界回归数据集上验证该方法的有效性。

提出的方法

• 所提出的方法 GEM-ITH 采用嵌套优化循环，使基学习器的超参数在集成权重优化过程中被同时调优。
• 使用贝叶斯优化高效搜索超参数空间，降低计算成本。
• 应用启发式方法生成多样化且表现优异的基学习器，提升集成的多样性与鲁棒性。
• 集成模型构建为基模型的加权平均，最优权重由嵌套优化框架确定。
• 该算法设计具有通用性，对基模型类型或数据分布无特定假设。
• 该框架将超参数调优与权重优化整合为单一端到端流程，以最大化预测性能。

实验结果

研究问题

• RQ1 联合优化集成权重与超参数是否能带来优于顺序或孤立优化的回归性能？
• RQ2 使用贝叶斯超参数搜索在多大程度上提升了集成模型训练的效率与效果？
• RQ3 通过生成多样化基学习器，在多大程度上改善了集成的泛化能力与鲁棒性？
• RQ4 GEM-ITH 在多样化回归数据集上与标准堆叠及其他集成方法相比表现如何？
• RQ5 所提出的框架能否在不同类型回归问题与数据分布上有效泛化？

主要发现

• 与标准堆叠及基线集成方法相比，GEM-ITH 在十个公开可用的回归数据集上实现了更优的预测性能。
• 权重与超参数的联合优化显著提升了均方误差（MSE）与决定系数（R-squared）指标。
• 贝叶斯超参数调优在保持高模型质量的同时，降低了超参数搜索的计算负担。
• 用于生成多样化基学习器的启发式方法显著提升了集成的多样性与鲁棒性，增强了泛化能力。
• 该方法在不同类型数据与回归问题上均表现出良好泛化能力，持续实现性能提升。
• 嵌套优化框架有效平衡了偏差与方差，从而实现更准确且稳定的预测。