[论文解读] RaSE: Random Subspace Ensemble Classification

Ye Tian, Yang Feng|arXiv (Cornell University)|Jun 16, 2020

Face and Expression Recognition参考文献 53被引用 4

一句话总结

本文提出 RaSE，一种用于高维稀疏分类的新型集成分类框架，通过基于加权Kullback-Leibler散度的新比率信息准则（RIC）选择最优子空间。该方法通过迭代优化子空间选择，提升分类准确率与特征选择性能，即使在随机子空间数量有限的情况下，也能实现理论一致性与低误分类率。

ABSTRACT

We propose a flexible ensemble classification framework, Random Subspace Ensemble (RaSE), for sparse classification. In the RaSE algorithm, we aggregate many weak learners, where each weak learner is a base classifier trained in a subspace optimally selected from a collection of random subspaces. To conduct subspace selection, we propose a new criterion, ratio information criterion (RIC), based on weighted Kullback-Leibler divergence. The theoretical analysis includes the risk and Monte-Carlo variance of the RaSE classifier, establishing the screening consistency and weak consistency of RIC, and providing an upper bound for the misclassification rate of the RaSE classifier. In addition, we show that in a high-dimensional framework, the number of random subspaces needs to be very large to guarantee that a subspace covering signals is selected. Therefore, we propose an iterative version of the RaSE algorithm and prove that under some specific conditions, a smaller number of generated random subspaces are needed to find a desirable subspace through iteration. An array of simulations under various models and real-data applications demonstrate the effectiveness and robustness of the RaSE classifier and its iterative version in terms of low misclassification rate and accurate feature ranking. The RaSE algorithm is implemented in the R package RaSEn on CRAN.

研究动机与目标

• 解决高维数据中大多数特征无关时的稀疏分类挑战。
• 开发一种理论基础坚实的集成方法，避免简单聚合所有随机子空间（可能不包含任何有用信号）。
• 通过基于新信息准则的子空间选择优化，实现准确的特征排序与选择。
• 通过引入迭代优化过程，减少所需随机子空间的数量，从而随时间逐步提升子空间质量。
• 为 RaSE 分类器建立理论一致性，并提供误分类率的上界。

提出的方法

• RaSE 框架通过在随机生成的子空间上训练基分类器构建集成模型，但仅保留每组子空间中表现最佳的子空间。
• 提出一种新的信息准则——比率信息准则（RIC），基于类条件密度之间的加权Kullback-Leibler散度，用于评估与选择最优子空间。
• 子空间选择采用迭代方式进行：在每次迭代中，根据分类性能更新特征权重，并以更高概率采样重要性估计值更高的特征。
• 迭代过程提高了选择包含真实信号集 $ S^* $ 的子空间的可能性，与非迭代方法相比，显著减少了所需子空间的数量。
• 理论分析建立了 RIC 的筛选一致性和弱一致性，并提供了误分类率的上界。
• 该算法已实现在 CRAN 上的 R 包 RaSEn 中，便于在高维分类任务中实际应用。

实验结果

研究问题

• RQ1 随机子空间集成方法是否能在高维稀疏分类设置中实现理论一致性？
• RQ2 所提出的比率信息准则（RIC）是否能优于简单聚合所有随机子空间的基线方法？
• RQ3 迭代子空间选择过程是否能显著减少所需随机子空间的数量，同时保持或提升分类性能？
• RQ4 与现有集成方法相比，RaSE 在高维数据中的特征排序准确率与误分类率表现如何？
• RQ5 RaSE 分类器的误分类率与子空间选择一致性可建立哪些理论保证？

主要发现

• 在所提出的 RIC 准则下，RaSE 分类器实现了筛选一致性和弱一致性，确保真实信号集 $ S^* $ 可被渐近恢复。
• 推导出误分类率的理论上限，表明 RaSE 在高维设置下仍能保持低误差率。
• RaSE 的迭代版本显著减少了找到包含 $ S^* $ 的子空间所需的随机子空间数量，因其逐步优化了特征重要性的估计。
• 模拟实验与真实数据应用表明，RaSE 在多种模型与数据结构下均实现了低误分类率与准确的特征排序。
• 选择包含真实信号集 $ S^* $ 的子空间的概率随迭代次数与集成规模的增加而提高，当 $ n, B_1, B_2 o iginfty $ 时，该概率的上界收敛至 1。
• R 包 RaSEn 已在 CRAN 上发布，支持在实际高维分类任务中部署 RaSE 框架。