[论文解读] Online Ensemble Learning for Imbalanced Data Streams

Boyu Wang, Joëlle Pineau|arXiv (Cornell University)|Oct 30, 2013

Data Stream Mining Techniques被引用 11

一句话总结

本文提出了一种在线代价敏感集成学习框架，将批量代价敏感袋装法和提升法算法扩展至在线流式学习场景，实现实时从不平衡数据流中学习。该方法确保理论收敛至批量对应算法，并在基准数据集上表现出色，其中在线袋装法在AUC和一致性方面优于在线提升法。

ABSTRACT

While both cost-sensitive learning and online learning have been studied extensively, the effort in simultaneously dealing with these two issues is limited. Aiming at this challenge task, a novel learning framework is proposed in this paper. The key idea is based on the fusion of online ensemble algorithms and the state of the art batch mode cost-sensitive bagging/boosting algorithms. Within this framework, two separately developed research areas are bridged together, and a batch of theoretically sound online cost-sensitive bagging and online cost-sensitive boosting algorithms are first proposed. Unlike other online cost-sensitive learning algorithms lacking theoretical analysis of asymptotic properties, the convergence of the proposed algorithms is guaranteed under certain conditions, and the experimental evidence with benchmark data sets also validates the effectiveness and efficiency of the proposed methods.

研究动机与目标

• 解决从类别不平衡数据流中学习的挑战，其中少数类样本稀少但漏检代价高昂。
• 弥合在线学习与代价敏感学习之间的差距，这两个领域虽研究充分但极少结合。
• 开发理论上可靠的批量代价敏感集成算法（如袋装法、提升法）的在线扩展版本，并提供收敛性保证。
• 通过框架的简单修改，实现对非平稳环境中概念漂移的适应。
• 在指定条件下，确保在线模型渐近收敛至其批量模式对应版本。

提出的方法

• 提出一种通用的在线代价敏感集成框架，将批量代价敏感袋装法和提升法推广至增量学习。
• 使用加权采样和代价敏感损失函数，在在线模型更新过程中优先考虑少数类样本。
• 引入遗忘因子（例如 β = 0.9）以自适应地更新统计量和模型参数，响应概念漂移。
• 通过集成代价敏感加权和增量参数估计，对现有在线算法（如 AdaC2、CSB2）进行改进。
• 将框架应用于 LDA、QDA 和朴素贝叶斯等基学习器，将其扩展为代价敏感的在线版本。
• 使用在线AUC作为主要评估指标，通过在模型更新前预测每个样本计算得出。

实验结果

研究问题

• RQ1 在特定条件下，在线代价敏感集成学习算法是否能渐近收敛至其批量模式对应版本？
• RQ2 与批量代价敏感集成方法相比，所提框架在不平衡数据流上的AUC和一致性表现如何？
• RQ3 该框架能否扩展以处理非平稳数据流中的概念漂移，如突发性、渐变性或混合型漂移？
• RQ4 在不平衡数据流上，在线袋装法是否在性能和稳定性方面优于在线提升法？
• RQ5 该框架能否应用于任意代价不敏感的在线学习算法，使其具备代价敏感特性？

主要发现

• 基于在线袋装法的算法（如 UnderOverBagging、SMOTEBagging）在所有基准数据集上均实现了更高的AUC和更好的一致性，优于基于提升法的方法。
• 在 SINE1（突发性概念漂移）上，LDA 的非平稳版本（nsLDA）平均在线AUC达到 0.8885 ± 0.0157，显著优于标准LDA（0.7747 ± 0.0408）。
• 朴素贝叶斯的非平稳扩展（nsNB）在 SINE1 上将AUC从 0.5275 ± 0.0309 提升至 0.7270 ± 0.0436，证明其在处理突发漂移方面的有效性。
• 在 SINE1G（渐变漂移）上，nsLDA 和 nsQDA 的AUC分别为 0.5833 ± 0.0680 和 0.5944 ± 0.0637，显示出相较于标准模型更强的鲁棒性。
• 该框架成功将 AdaC2 和 CSB2 扩展为在线版本，在性能上与批量对应版本相当，并具备理论收敛保证。
• 所提方法在处理混合漂移（SINE1M）时表现出灵活性，其中 nsLDA 和 nsQDA 的AUC分别为 0.6348 ± 0.0372 和 0.6048 ± 0.0355，优于标准模型。