[论文解读] Random Projection Forests

Tyler M. Tomita, J. Dale Browne+7 more|arXiv (Cornell University)|Jun 10, 2015

Machine Learning and Data Classification被引用 5

一句话总结

本文提出了一种新型决策森林——稀疏投影正交随机森林（SPORF），通过使用稀疏随机投影生成正交分裂，相较于轴对齐及现有正交森林方法，在保持计算效率与可解释性的同时提升了准确率。SPORF 在包含超过100个不同维度与样本量的分类问题基准测试中达到最先进性能。

ABSTRACT

Decision forests, including Random and Gradient Boosting Trees, have recently demonstrated state-of-the-art performance in a variety of machine learning settings. Decision forests are typically ensembles of axis-aligned decision trees; that is, trees that split only along feature dimensions. In contrast, many recent extensions to decision forests are based on axis-oblique splits. Unfortunately, these extensions forfeit one or more of the favorable properties of decision forests based on axis-aligned splits, such as robustness to many noise dimensions, interpretability, or computational efficiency. We introduce yet another decision forest, called Sparse Projection Oblique Randomer Forests (SPORF). SPORF uses very sparse random projections, i.e., linear combinations of a small subset of features. SPORF significantly improves accuracy over existing state-of-the-art algorithms on a standard benchmark suite for classification with >100 problems of varying dimension, sample size, and number of classes. To illustrate how SPORF addresses the limitations of both axis-aligned and existing oblique decision forest methods, we conduct extensive simulated experiments. SPORF typically yields improved performance over existing decision forests, while mitigating computational efficiency and scalability and maintaining interpretability. SPORF can easily be incorporated into other ensemble methods such as boosting to obtain potentially similar gains.

研究动机与目标

• 为解决轴对齐决策森林在高维空间中准确率下降的局限性，提出一种新的正交分裂方法。
• 克服现有正交决策森林方法中使用稠密或复杂投影所导致的计算效率低下与可解释性降低的问题。
• 开发一种可扩展且鲁棒的集成方法，在保持随机森林优良特性的基础上显著提升预测性能。
• 实现与现有集成框架（如提升法）的无缝集成，从而在更广泛的机器学习流程中持续提升性能。

提出的方法

• SPORF 使用稀疏随机投影构建决策树，其中每个分裂基于仅一小部分随机选取的特征的线性组合。
• 每个投影均设计为稀疏形式，即仅少数特征参与每个分裂，从而保持计算效率与可解释性。
• 该方法采用随机化、数据无关的投影策略，生成能捕捉复杂特征交互的正交决策边界，同时避免过拟合。
• SPORF 保持了随机森林的集成结构，通过组合多个此类树来提升泛化能力与鲁棒性。
• 该算法设计为与现有提升法及随机森林框架兼容，支持即插即用的性能提升。

实验结果

研究问题

• RQ1 在保持计算效率的前提下，稀疏随机投影能否在决策森林中实现高于轴对齐分裂的准确率？
• RQ2 SPORF 在可扩展性与可解释性方面相较于现有正交决策森林方法表现如何？
• RQ3 SPORF 在不同维度与样本量的多样化分类问题中，性能提升的幅度有多大？
• RQ4 SPORF 是否能有效集成至其他集成学习方法（如提升法）中，从而实现一致的性能增益？

主要发现

• SPORF 在包含超过100个分类问题的基准测试中达到最先进准确率，优于轴对齐及现有正交决策森林方法。
• 通过使用稀疏随机投影，SPORF 保持了高效的计算性能，使其可扩展至高维数据集。
• SPORF 通过每一分裂仅依赖少数特征，保持了可解释性，而不同于依赖稠密投影的正交方法所导致的特征重要性模糊化。
• 大量模拟实验表明，SPORF 在包括高维与噪声环境在内的多样化数据场景中均能持续提升性能。
• 该方法在提升框架中表现出强大的兼容性，表明其在集成学习流程中具有广泛采用的潜力。