[论文解读] Randomer Forests

Tyler M. Tomita, Mauro Maggioni+1 more|arXiv (Cornell University)|Jun 10, 2015

Machine Learning and Data Classification被引用 8

一句话总结

本文提出了一种新型决策森林——稀疏投影斜向随机森林（SPORF），通过使用稀疏随机投影生成斜向划分，显著提升了在超过100个分类问题上的准确率，同时保持了计算效率和可解释性。SPORF通过仅使用极少数特征的稀疏线性组合，结合轴对齐森林与斜向森林的优势，实现了卓越的性能表现。

ABSTRACT

Decision forests, including Random and Gradient Boosting Trees, have recently demonstrated state-of-the-art performance in a variety of machine learning settings. Decision forests are typically ensembles of axis-aligned decision trees; that is, trees that split only along feature dimensions. In contrast, many recent extensions to decision forests are based on axis-oblique splits. Unfortunately, these extensions forfeit one or more of the favorable properties of decision forests based on axis-aligned splits, such as robustness to many noise dimensions, interpretability, or computational efficiency. We introduce yet another decision forest, called Sparse Projection Oblique Randomer Forests (SPORF). SPORF uses very sparse random projections, i.e., linear combinations of a small subset of features. SPORF significantly improves accuracy over existing state-of-the-art algorithms on a standard benchmark suite for classification with >100 problems of varying dimension, sample size, and number of classes. To illustrate how SPORF addresses the limitations of both axis-aligned and existing oblique decision forest methods, we conduct extensive simulated experiments. SPORF typically yields improved performance over existing decision forests, while mitigating computational efficiency and scalability and maintaining interpretability. SPORF can easily be incorporated into other ensemble methods such as boosting to obtain potentially similar gains.

研究动机与目标

• 解决轴对齐森林及现有斜向决策森林的局限性，例如对噪声的鲁棒性降低、可扩展性差或可解释性丧失等问题。
• 开发一种在显著提升分类准确率的同时，保持计算效率和可解释性的方法。
• 探索使用极稀疏随机投影作为生成决策森林中有效斜向划分的手段。
• 评估SPORF是否可无缝集成到其他集成方法（如提升法）中，以实现进一步的性能提升。

提出的方法

• SPORF通过稀疏随机投影定义的斜向划分构建决策树，其中每个划分仅涉及特征的极小子集的线性组合。
• 投影系数从稀疏分布中随机采样，确保仅有少数特征参与每个划分，从而保持稀疏性与计算效率。
• 森林中的每棵树均使用数据的自助采样进行训练，划分依据基于稀疏投影特征的信息增益最大化选择。
• 最终预测通过聚合森林中所有树的预测结果完成，分类任务采用多数投票机制。
• 该方法设计为与现有集成框架（如提升法）兼容，具备扩展至其他集成学习范式的能力。

实验结果

研究问题

• RQ1 稀疏随机投影是否能在不牺牲计算效率或可解释性的情况下提升决策森林的准确率？
• RQ2 SPORF在高维噪声环境下的鲁棒性与轴对齐森林及现有斜向决策森林相比如何？
• RQ3 SPORF在实现更具表现力的斜向决策边界的同时，能在多大程度上保持可解释性？
• RQ4 SPORF是否可有效集成到其他集成方法（如梯度提升）中，以实现类似的性能提升？

主要发现

• SPORF在包含超过100个不同维度、样本量和类别数的分类问题基准测试中，显著优于现有最先进算法。
• 使用极稀疏随机投影使SPORF在高维设置下仍能保持高度的计算效率与可扩展性。
• SPORF通过仅限制每个划分涉及少数特征，有效保持了可解释性，而不同于密集斜向方法可能掩盖特征重要性的问题。
• 大量模拟实验表明，SPORF在各种数据配置下始终优于轴对齐和现有斜向决策森林方法。
• SPORF的设计支持其轻松集成到其他集成方法（如提升法）中，表明其具备广泛的应用潜力与性能增益前景。