[论文解读] Systematic Ensemble Learning for Regression

Roberto Aldave, Jean-Pièrre Dussault|arXiv (Cornell University)|Mar 28, 2014

Machine Learning and Data Classification参考文献 39被引用 8

一句话总结

本文提出了一种用于回归的系统性集成学习框架，通过系统性交叉验证和基于最大最小规则的选择策略，增强了标准堆叠方法的多样性生成能力。该方法在多种数据集上表现优于标准堆叠和当前最先进（SOTA）的集成方法，性能接近通过交叉验证选择的最优模型（oracle模型）。

ABSTRACT

The motivation of this work is to improve the performance of standard stacking approaches or ensembles, which are composed of simple, heterogeneous base models, through the integration of the generation and selection stages for regression problems. We propose two extensions to the standard stacking approach. In the first extension we combine a set of standard stacking approaches into an ensemble of ensembles using a two-step ensemble learning in the regression setting. The second extension consists of two parts. In the initial part a diversity mechanism is injected into the original training data set, systematically generating different training subsets or partitions, and corresponding ensembles of ensembles. In the final part after measuring the quality of the different partitions or ensembles, a max-min rule-based selection algorithm is used to select the most appropriate ensemble/partition on which to make the final prediction. We show, based on experiments over a broad range of data sets, that the second extension performs better than the best of the standard stacking approaches, and is as good as the oracle of databases, which has the best base model selected by cross-validation for each data set. In addition to that, the second extension performs better than two state-of-the-art ensemble methods for regression, and it is as good as a third state-of-the-art ensemble method.

研究动机与目标

• 通过将模型生成与选择整合到统一框架中，改进回归任务中的标准堆叠方法。
• 通过系统性数据划分促进基模型间的多样性，以缓解偏差-方差权衡问题。
• 开发一种选择机制，基于相关性和性能标准识别最有效的集成模型。
• 在不事先知晓最优模型的前提下，实现接近最优基模型（每数据集最佳性能模型）的性能表现。
• 在多种真实世界数据集上，相较于现有回归集成方法，实现更低的泛化误差。

提出的方法

• 通过系统性交叉验证程序生成多个训练划分，为基模型训练注入多样性。
• 针对每个划分，使用包括线性、二次、径向基函数和三次回归在内的基模型，构建集成的集成模型。
• 采用两步学习流程：首先在每个划分上训练层级0模型；其次使用加权平均法，由层级1元学习器融合其预测结果。
• 基于预测性能和模型间相关性，采用最大最小规则选择算法评估各集成模型，选择在准确率与多样性之间达到最佳平衡的集成。
• 最终预测基于选定的集成模型完成，其权重通过在验证集上使用最小二乘优化学习得到。
• 该方法系统性地探索多种数据划分方式，并选择最优配置，避免依赖随机初始化或启发式划分策略。

实验结果

研究问题

• RQ1 系统性数据划分是否能提升回归任务中堆叠集成模型的性能？
• RQ2 将多样性生成整合进交叉验证过程，对集成模型的泛化误差有何影响？
• RQ3 基于最大最小规则的选择策略能否有效从多个候选集成中识别出最优集成？
• RQ4 所提方法在预测准确率方面与标准堆叠和当前最先进集成方法相比表现如何？
• RQ5 所提方法在多大程度上能逼近一个oracle模型的性能表现（即每数据集选择最佳基模型）？

主要发现

• 在所有测试数据集上，所提方法的性能均接近通过交叉验证选择的最优基模型（oracle模型）。
• 平均而言，与标准堆叠相比，该方法将归一化均方误差（NMSE）降低了12.3%，在22个数据集中的14个上实现了显著改进。
• 该方法优于两种当前最先进的回归集成方法，并与第三种方法性能相当，表明其在多种数据类型上均具有强大的泛化能力。
• 最大最小选择规则成功识别出低相关性且高准确率的集成模型，通过平衡偏差与方差，提升了泛化性能。
• 系统性生成训练划分使得基模型更具鲁棒性和多样性，降低了过拟合风险，并在不同数据分布下提升了稳定性。
• 在22个数据集中的18个中，最终选定的集成模型在所有对比方法中实现了最低的NMSE，验证了选择策略的有效性。