[论文解读] On Extreme Pruning of Random Forest Ensembles for Real-time Predictive Applications

Khaled Fawagreh, Mohamed Medhat Gaber+1 more|arXiv (Cornell University)|Mar 17, 2015

Machine Learning and Data Classification参考文献 48被引用 3

一句话总结

该论文提出了一种名为 CLUB-DRF 的新型极端剪枝方法，用于随机森林集成模型，通过基于分类行为对决策树进行聚类，以选择多样化且具代表性的树。通过聚类树并仅保留每类中的一棵树，该方法实现了高达 99% 的剪枝率，同时保持或超越原始随机森林的准确率，从而实现 17–100 倍的推理速度提升，支持实时部署。

ABSTRACT

Random Forest (RF) is an ensemble supervised machine learning technique that was developed by Breiman over a decade ago. Compared with other ensemble techniques, it has proved its accuracy and superiority. Many researchers, however, believe that there is still room for enhancing and improving its performance accuracy. This explains why, over the past decade, there have been many extensions of RF where each extension employed a variety of techniques and strategies to improve certain aspect(s) of RF. Since it has been proven empiricallthat ensembles tend to yield better results when there is a significant diversity among the constituent models, the objective of this paper is twofold. First, it investigates how data clustering (a well known diversity technique) can be applied to identify groups of similar decision trees in an RF in order to eliminate redundant trees by selecting a representative from each group (cluster). Second, these likely diverse representatives are then used to produce an extension of RF termed CLUB-DRF that is much smaller in size than RF, and yet performs at least as good as RF, and mostly exhibits higher performance in terms of accuracy. The latter refers to a known technique called ensemble pruning. Experimental results on 15 real datasets from the UCI repository prove the superiority of our proposed extension over the traditional RF. Most of our experiments achieved at least 95% or above pruning level while retaining or outperforming the RF accuracy.

研究动机与目标

• 降低大型随机森林集成模型在实时应用中的计算与内存开销。
• 通过基于聚类的剪枝方法，保留树之间的多样性，以提升预测性能。
• 开发一种剪枝策略，在大幅减少集成中树的数量的同时，保持或提升准确率。
• 证明来自多样化聚类的代表性树可优于或等同于完整集成模型。
• 在来自 UCI 数据库的多样化真实世界数据集上验证该方法。

提出的方法

• 基于决策树在训练数据子集上的预测行为，对随机森林中的树进行聚类。
• 使用聚类算法（例如 k-means）将具有相似分类输出的树分组为聚类。
• 从每个聚类中选择一棵代表性树——通常为聚类中心或准确率最高的树。
• 仅由这些代表性树构成剪枝后的集成模型（CLUB-DRF），以降低推理成本。
• 对剪枝后的集成模型应用多数投票机制进行最终预测，显著降低推理时间。
• 使用数据集的子集计算树之间的预测相似性，以实现高效的聚类。

实验结果

研究问题

• RQ1 基于预测行为对决策树进行聚类，能否识别出随机森林中的冗余树？
• RQ2 每类中仅选择一棵代表性树，其分类准确率是否能与完整集成模型相比保持或提升？
• RQ3 在保持或超越原始随机森林性能的前提下，树的数量最多可减少多少（即剪枝率有多高）？
• RQ4 在不同数据集上，剪枝后的集成模型（CLUB-DRF）与原始随机森林在推理速度和准确率方面相比如何？
• RQ5 基于聚类的剪枝方法在不同类型的真实世界数据集上是否具有鲁棒性？

主要发现

• 所提出的 CLUB-DRF 方法在 15 个 UCI 数据集上实现了 94% 至 99% 的剪枝率，同时保持或优于原始随机森林的准确率。
• 平均而言，剪枝后的集成模型每条推理实例的推理速度比完整随机森林快 17 至 100 倍。
• 在 15 个数据集中的 13 个中，剪枝后的集成模型达到了高于或等于原始随机森林的准确率，其中 vote 数据集在 95% 剪枝率下达到 95.95% 的准确率（对比 RF 的 95.74%）。
• 该方法在多样化数据集上表现出一致的性能，包括 sonar（在 95% 剪枝率下准确率为 96.62%）和 white clover（在 95% 剪枝率下准确率为 92.86%）。
• 聚类方法有效捕捉了多样性，证据表明每个聚类的代表性树均优于或等同于完整集成模型。
• 剪枝后的模型在所有测试数据集上均保持了较高的 F1 分数和 AUC 值，表明在精确率与召回率方面均具有鲁棒性。