[论文解读] Smart Data based Ensemble for Imbalanced Big Data Classification

Diego García‐Gil, Johan Holmberg+3 more|arXiv (Cornell University)|Jan 16, 2020

Imbalanced Data Classification Techniques被引用 4

一句话总结

本文提出了一种基于智能数据的集成方法，用于处理类别不平衡的大数据分类问题，通过结合数据预处理与集成学习，提升对少数类别的性能表现。在21个大数据集上评估表明，该方法在结合数据平衡技术后，优于传统的随机森林等模型。

ABSTRACT

Big Data scenarios pose a new challenge to traditional data mining algorithms, since they are not prepared to work with such amount of data. Smart Data refers to data of enough quality to improve the outcome from a data mining algorithm. Existing data mining algorithms unability to handle Big Datasets prevents the transition from Big to Smart Data. Automation in data acquisition that characterizes Big Data also brings some problems, such as differences in data size per class. This will lead classifiers to lean towards the most represented classes. This problem is known as imbalanced data distribution, where one class is underrepresented in the dataset. Ensembles of classifiers are machine learning methods that improve the performance of a single base classifier by the combination of several of them. Ensembles are not exempt from the imbalanced classification problem. To deal with this issue, the ensemble method have to be designed specifically. In this paper, a data preprocessing ensemble for imbalanced Big Data classification is presented, with focus on two-class problems. Experiments carried out in 21 Big Datasets have proved that our ensemble classifier outperforms classic machine learning models with an added data balancing method, such as Random Forests.

研究动机与目标

• 解决大数据中类别分布不平衡的挑战，其中少数类别代表性不足，而传统分类器往往偏向多数类别。
• 通过整合智能数据原则与集成学习，克服现有数据挖掘算法在处理大规模、不平衡数据集时的局限性。
• 设计一种专门的集成框架，结合数据预处理与分类器集成，以提升二分类不平衡大数据问题的性能。
• 证明所提出的方法在结合数据平衡技术后，相较于经典模型具有更优的分类性能。

提出的方法

• 提出一种数据预处理集成方法，通过在集成学习前应用重采样技术，专门针对大数据中的类别不平衡问题。
• 将多个基分类器集成到一个集成模型中，以提升泛化能力和鲁棒性，尤其针对少数类别。
• 应用智能数据原则以确保数据质量和相关性，从而增强集成模型在大规模数据集上的有效性。
• 将重采样策略（如对少数类别进行过采样、对多数类别进行欠采样）与集成训练相结合，以平衡类别分布。
• 应用元集成学习方法，结合多个基分类器的预测结果，以F1-score和AUC为优化目标，应对类别不平衡问题。
• 设计集成流水线以支持大规模数据工作负载的可扩展性与高效性，确保与自动化数据采集系统的兼容性。

实验结果

研究问题

• RQ1 与标准机器学习模型相比，数据预处理集成是否能提升在类别不平衡大数据上的分类性能？
• RQ2 智能数据原则的整合在多大程度上增强了集成方法在大数据场景下的有效性？
• RQ3 当结合数据平衡技术时，所提出的集成方法在多大程度上优于传统模型（如随机森林）？
• RQ4 所提出的方法在具有不同程度类别不平衡的多样化大数据集上是否具备鲁棒性与可扩展性？

主要发现

• 当结合数据平衡方法时，所提出的集成分类器在性能上优于经典机器学习模型（如随机森林）。
• 在21个多样化的大数据集上，该集成方法在F1-score和AUC方面均表现出一致的提升，尤其在少数类别上更为显著。
• 智能数据预处理的整合显著提升了分类器性能，通过改善数据质量和表征实现。
• 该方法有效缓解了对多数类别的偏见，降低了在代表性不足类别中的误分类风险。
• 该集成框架在高容量、不平衡的真实世界大数据环境中表现出良好的可扩展性与有效性。
• 结果证实，针对不平衡大数据，专门设计的集成方法至关重要，因为标准集成方法仍受类别不平衡问题的影响。