[论文解读] Random projection ensemble classification

Timothy I. Cannings, Richard J. Samworth|arXiv (Cornell University)|Apr 17, 2015

Face and Expression Recognition参考文献 30被引用 7

一句话总结

本文提出了一种随机投影集成分类器，通过结合数据的多个随机投影的预测结果，提升高维分类性能，仅在分组子集中选择最优投影，并使用数据驱动的投票阈值。该方法在满足充分维数降低条件时，实现了随投影数量增加而减小的低测试过失风险，且在有限样本模拟中优于现有分类器。

ABSTRACT

We introduce a very general method for high-dimensional classification, based on careful combination of the results of applying an arbitrary base classifier to random projections of the feature vectors into a lower-dimensional space. In one special case that we study in detail, the random projections are divided into disjoint groups, and within each group we select the projection yielding the smallest estimate of the test error. Our random projection ensemble classifier then aggregates the results of applying the base classifier on the selected projections, with a data-driven voting threshold to determine the final assignment. Our theoretical results elucidate the effect on performance of increasing the number of projections. Moreover, under a boundary condition implied by the sufficient dimension reduction assumption, we show that the test excess risk of the random projection ensemble classifier can be controlled by terms that do not depend on the original data dimension and a term that becomes negligible as the number of projections increases. The classifier is also compared empirically with several other popular high-dimensional classifiers via an extensive simulation study, which reveals its excellent finite-sample performance.

研究动机与目标

• 解决经典分类器（如LDA）在p ≥ n的高维设置下表现不佳的问题。
• 通过使用随机投影将数据投影到低维空间，克服维数灾难。
• 开发一种鲁棒的集成方法，选择有信息量的投影并优化投票阈值，以提高分类准确率。
• 理论分析旨在控制测试过失风险，并证明随着投影数量增加，性能趋近最优。

提出的方法

• 将随机投影划分为不相交的组，以减少噪声并保留类别结构。
• 在每组内，使用交叉验证或类似方法，选择估计测试误差最小的投影。
• 对每个选定的投影应用基础分类器（例如LDA、QDA、k-NN）。
• 通过数据驱动的投票阈值聚合结果，而非简单的多数投票，以最小化测试误差。
• 使用分类器的无限模拟版本，通过经验风险最小化估计最优投票阈值。
• 该框架与基础分类器无关，可将低维方法扩展至高维问题。

实验结果

研究问题

• RQ1 随机投影结合选择性聚合是否能提升高维设置下的分类性能？
• RQ2 增加随机投影数量如何影响集成分类器的测试过失风险？
• RQ3 数据驱动的投票阈值是否优于集成分类中的简单多数投票？
• RQ4 在何种理论条件下，测试过失风险可独立于原始数据维度得到控制？
• RQ5 在有限样本设置下，该方法与现有高维分类器相比表现如何？

主要发现

• 随机投影集成分类器的测试过失风险受与原始数据维度无关的项控制，且随投影数量增加而减小的项也逐渐降低。
• 在充分维数降低假设下，该分类器在高维情形下可实现渐近低过失风险。
• 实证结果表明，该方法在有限样本模拟中优于或匹配多种流行的高维分类器。
• 数据驱动的投票阈值显著优于固定多数投票，尤其在复杂决策边界设置下。
• 即使仅少数特征相关，该方法仍具有效性，并在非线性决策边界下表现良好。
• R包 RPEnsemble 实现了该方法，支持在多样化分类问题中的实际应用。