[论文解读] The Heterogeneous Ensembles of Standard Classification Algorithms (HESCA): the Whole is Greater than the Sum of its Parts

James Large, Jason Lines+1 more|arXiv (Cornell University)|Oct 25, 2017

Imbalanced Data Classification Techniques参考文献 18被引用 36

一句话总结

本文提出HESCA，一种异质集成模型，结合来自不同算法家族的标准分类器（如决策树、SVM、神经网络），通过训练数据中的误差估计来融合不同模型。实验表明，HESCA显著优于单个分类器、调优后的SVM，甚至复杂的时间序列专用算法，为新分类问题提供了一种快速、鲁棒的基准方法，尤其适用于小样本数据集和多分类问题。

ABSTRACT

Building classification models is an intrinsically practical exercise that requires many design decisions prior to deployment. We aim to provide some guidance in this decision making process. Specifically, given a classification problem with real valued attributes, we consider which classifier or family of classifiers should one use. Strong contenders are tree based homogeneous ensembles, support vector machines or deep neural networks. All three families of model could claim to be state-of-the-art, and yet it is not clear when one is preferable to the others. Our extensive experiments with over 200 data sets from two distinct archives demonstrate that, rather than choose a single family and expend computing resources on optimising that model, it is significantly better to build simpler versions of classifiers from each family and ensemble. We show that the Heterogeneous Ensembles of Standard Classification Algorithms (HESCA), which ensembles based on error estimates formed on the train data, is significantly better (in terms of error, balanced error, negative log likelihood and area under the ROC curve) than its individual components, picking the component that is best on train data, and a support vector machine tuned over 1089 different parameter configurations. We demonstrate HESCA+, which contains a deep neural network, a support vector machine and two decision tree forests, is significantly better than its components, picking the best component, and HESCA. We analyse the results further and find that HESCA and HESCA+ are of particular value when the train set size is relatively small and the problem has multiple classes. HESCA is a fast approach that is, on average, as good as state-of-the-art classifiers, whereas HESCA+ is significantly better than average and represents a strong benchmark for future research.

研究动机与目标

• 为在计算资源受限条件下解决新问题时选择最佳分类算法家族这一实际挑战提供方案。
• 探究是否通过集成来自不同算法家族的多样化、低度调优的分类器，能够显著提升性能，优于对单一模型进行优化。
• 评估仅基于训练数据的误差估计是否能有效用于集成组合，与更复杂的组合方法相比是否更具优势。
• 将HESCA确立为一种可靠、快速且通用的分类任务基准，尤其适用于低数据量和多分类场景。

提出的方法

• 在相同训练数据上训练来自不同算法家族的多样化基础分类器（如决策树、SVM、神经网络）。
• 使用交叉验证或类似技术，估计每个基础分类器在训练集上的误差。
• 根据其估计的训练误差对每个基础分类器的预测进行加权——误差越低，权重越高。
• 将所有基础分类器的加权预测结果合并，形成最终的集成预测结果。
• HESCA与HESCA+均采用相同的加权方案，其中HESCA+额外包含一个深度神经网络和两个决策树森林。
• 使用标准指标评估集成模型性能：在未见测试数据上的分类误差、平衡误差、负对数似然以及AUC-ROC。

实验结果

研究问题

• RQ1 是否通过集成来自不同算法家族的多个低度调优分类器，能显著提升性能，超越选择最优单个分类器？
• RQ2 是否可仅使用训练数据中的误差估计有效加权集成组件？该方法是否优于更复杂的组合方案？
• RQ3 是更优策略对单一分类器进行调优，还是集成多个分类器家族的简化版本？
• RQ4 在206个不同数据集上，HESCA与经过1089种参数配置调优的SVM相比，性能表现如何？
• RQ5 该集成方法是否能为调优后基础模型的性能提供有意义的洞察？其在不同类型数据上的泛化能力如何？

主要发现

• 在206个数据集上，HESCA显著优于其各个组成部分、训练数据上表现最佳的单个分类器，以及经过1089种参数配置调优的SVM。
• HESCA+（包含一个深度神经网络、SVM及两个决策树森林）的性能显著优于其任意单个组件，且在平均表现上超越HESCA。
• HESCA与HESCA+在训练样本少于1,000且类别数超过两个的数据集上尤为有效，性能提升最为显著。
• HESCA所采用的简单误差加权方案，其性能与或优于更复杂的集成组合方法（如混淆熵）。
• 在UCR-UEA时间序列数据集上，尽管未利用时间结构信息，HESCA+的性能与18种最先进的时间序列专用算法中的11种相当。
• HESCA的平均准确率与最先进的分类器相当，但计算开销低几个数量级，使其成为一种实用且可靠的基准方法。