[论文解读] Random Forest Based Approach for Concept Drift Handling

А. В. Жуков, Denis Sidorov+1 more|arXiv (Cornell University)|Feb 14, 2016

Data Stream Mining Techniques参考文献 13被引用 10

一句话总结

本文提出了一种基于邻近度驱动的流式随机森林（PDSRF）方法，通过整合时间加权、集成剪枝和基于准确率的投票机制，利用内在邻近度与基学习器准确率，以应对数据流中的概念漂移问题。该方法在智能电网和风电预测等动态环境中的表现优于标准随机森林和AWE2。

ABSTRACT

Concept drift has potential in smart grid analysis because the socio-economic behaviour of consumers is not governed by the laws of physics. Likewise there are also applications in wind power forecasting. In this paper we present decision tree ensemble classification method based on the Random Forest algorithm for concept drift. The weighted majority voting ensemble aggregation rule is employed based on the ideas of Accuracy Weighted Ensemble (AWE) method. Base learner weight in our case is computed for each sample evaluation using base learners accuracy and intrinsic proximity measure of Random Forest. Our algorithm exploits both temporal weighting of samples and ensemble pruning as a forgetting strategy. We present results of empirical comparison of our method with original random forest with incorporated "replace-the-looser" forgetting andother state-of-the-art concept-drfit classifiers like AWE2.

研究动机与目标

• 解决实时数据流中概念漂移的挑战，特别是在智能电网和可再生能源预测等非平稳环境中的应用。
• 克服传统随机森林在数据分布随时间变化的动态环境中性能受限的问题。
• 开发一种自适应集成方法，通过动态加权基学习器和遗忘策略应对概念漂移。
• 在考虑时间相关性和邻近度的样本相关性评估下，提升流式场景下的预测准确率。
• 在电力系统和传感器数据中常见的缺失数据和非均匀数据到达条件下，实现稳健的分类。

提出的方法

• 提出一种基于邻近度驱动的流式随机森林（PDSRF），结合自助采样、随机子空间方法和动态集成加权机制。
• 利用随机森林中的内在邻近度度量评估样本相似性，并指导基学习器的加权。
• 基于基学习器的个体准确率以及其与当前测试样本的邻近度，计算其权重。
• 应用时间加权机制，优先考虑近期样本，降低过时数据的影响。
• 实施集成剪枝作为遗忘机制，移除性能较低或过时的分类器。
• 采用加权多数投票机制，其中分类器权重根据每个样本的准确率和邻近度动态更新。

实验结果

研究问题

• RQ1 如何有效改进随机森林以应对数据流环境中概念漂移的问题？
• RQ2 在集成流式分类中，结合基于邻近度的相似性与准确率加权投票会产生何种影响？
• RQ3 与标准随机森林相比，时间加权和集成剪枝如何提升在概念漂移下的性能？
• RQ4 所提出的方法是否能在真实世界的流式任务中超越SOTA方法如AWE2和在线袋采样？
• RQ5 在智能电网和可再生能源应用中常见的缺失数据和非均匀数据到达条件下，该方法表现如何？

主要发现

• PDSRF在具有概念漂移的基准数据流上，分类准确率高于标准随机森林和AWE2。
• 引入基于邻近度和准确率的加权机制，显著提升了模型对渐进式和突发性概念漂移的适应能力。
• 时间加权和集成剪枝能有效降低过时数据的影响，提升在非平稳环境中的性能。
• 该方法对缺失数据表现出鲁棒性，这是真实世界智能电网和风电数据集中常见的问题。
• 在机器学习和追踪任务上的实证结果表明，PDSRF在动态数据分布下仍能保持高预测性能。
• 将内在邻近度与准确率加权相结合，相比静态或纯准确率加权，能产生更可靠和自适应的集成决策。