[论文解读] Sparse Projection Oblique Randomer Forests

Tyler M. Tomita, J. Dale Browne+9 more|arXiv (Cornell University)|Jun 10, 2015

Machine Learning and Data Classification参考文献 28被引用 8

一句话总结

本文提出了稀疏投影斜向随机森林（SPORF），一种使用极稀疏随机投影生成斜向分裂的决策森林，结合了斜向森林的准确性与轴对齐森林的计算效率和鲁棒性。SPORF在100多个不同数据集上实现了最先进分类性能，同时保持了可解释性和可扩展性。

ABSTRACT

Decision forests, including Random Forests and Gradient Boosting Trees, have recently demonstrated state-of-the-art performance in a variety of machine learning settings. Decision forests are typically ensembles of axis-aligned decision trees; that is, trees that split only along feature dimensions. In contrast, many recent extensions to decision forests are based on axis-oblique splits. Unfortunately, these extensions forfeit one or more of the favorable properties of decision forests based on axis-aligned splits, such as robustness to many noise dimensions, interpretability, or computational efficiency. We introduce yet another decision forest, called "Sparse Projection Oblique Randomer Forests" (SPORF). SPORF uses very sparse random projections, i.e., linear combinations of a small subset of features. SPORF significantly improves accuracy over existing state-of-the-art algorithms on a standard benchmark suite for classification with >100 problems of varying dimension, sample size, and number of classes. To illustrate how SPORF addresses the limitations of both axis-aligned and existing oblique decision forest methods, we conduct extensive simulated experiments. SPORF typically yields improved performance over existing decision forests, while mitigating computational efficiency and scalability and maintaining interpretability. SPORF can easily be incorporated into other ensemble methods such as boosting to obtain potentially similar gains.

研究动机与目标

• 解决轴对齐森林和现有斜向决策森林的局限性，结合两者的优势。
• 开发一种方法，在提升预测准确性的同时，保持计算效率、对噪声的鲁棒性以及可解释性。
• 克服现有斜向森林中为提升表达能力而牺牲效率或可解释性的权衡问题。
• 实现可扩展、高效且可解释的树集成方法，适用于高维和大规模数据。
• 提供一个灵活的框架，可扩展至其他集成方法（如提升法）

提出的方法

• SPORF使用极稀疏随机投影作为分裂候选，每个投影仅组合少量特征。
• 在每个节点，算法从一组稀疏随机投影中采样，以确定最佳分裂方向，从而保持稀疏性和计算效率。
• 该方法采用对稀疏投影的随机搜索，而非穷举或密集线性组合，从而降低计算成本。
• SPORF通过确保每个分裂仅为少数特征的线性组合，保持了可解释性，避免了密集且难以解释的投影。
• 该算法在R和Python中均有实现，兼容scikit-learn API，可无缝集成至现有机器学习流程。
• 应用了“森林打包”优化，通过压缩森林数据结构进一步加速预测，使推理速度相比标准SPORF提升超过100倍，相比XGBoost提升10倍。

实验结果

研究问题

• RQ1 能否设计一种决策森林方法，结合斜向分裂的表达能力与轴对齐树的计算效率和鲁棒性？
• RQ2 使用稀疏随机投影作为分裂候选，是否能在多样化的数据集上提升泛化性能，相比标准随机森林（RF）和XGBoost？
• RQ3 SPORF在超越现有斜向森林方法的同时，能在多大程度上保持可解释性和可扩展性？
• RQ4 SPORF在准确率和预测速度方面，与XGBoost和Ranger等最先进方法相比表现如何？
• RQ5 SPORF能否在传统随机森林失效的场景（如存在稀疏高维信号时）实现统计一致性？

主要发现

• SPORF在包含超过100个不同维度、样本量和类别数的数据集基准测试中，实现了最先进分类准确率。
• 在Higgs和MNIST数据集上，SPORF的预测时间显著快于Ranger，p53数据集上仅略慢。
• 森林打包优化使SPORF在所有三个测试数据集上的预测时间相比标准SPORF减少超过100倍，相比XGBoost减少10倍。
• SPORF在传统随机森林被证明不一致的问题中表现出经验统计一致性，极限情况下误差率为零。
• SPORF通过更强的单个树和降低树之间的相关性，在模拟实验中优于随机森林和现有斜向方法。
• 该方法对高维噪声具有鲁棒性，计算效率高，其R和Python实现已发布于CRAN和PyPI。