[论文解读] Nonparametric Feature Selection by Random Forests and Deep Neural Networks

Xiaojun Mao, Liuhua Peng+1 more|arXiv (Cornell University)|Jan 18, 2022

Neural Networks and Applications被引用 4

一句话总结

该论文提出NFSRD，一种非参数特征选择方法，结合随机森林与深度神经网络，利用基于核的两样本检验识别相关特征。相较于现有方法，NFSRD在特征检测、假阳性控制和计算效率方面表现更优，并在正则条件下具备理论保证。

ABSTRACT

Random forests are a widely used machine learning algorithm, but their computational efficiency is undermined when applied to large-scale datasets with numerous instances and useless features. Herein, we propose a nonparametric feature selection algorithm that incorporates random forests and deep neural networks, and its theoretical properties are also investigated under regularity conditions. Using different synthetic models and a real-world example, we demonstrate the advantage of the proposed algorithm over other alternatives in terms of identifying useful features, avoiding useless ones, and the computation efficiency. Although the algorithm is proposed using standard random forests, it can be widely adapted to other machine learning algorithms, as long as features can be sorted accordingly.

研究动机与目标

• 解决随机森林在高维数据集（含大量无关特征）上计算效率低下的问题。
• 开发一种理论基础坚实的非参数特征选择方法，避免对树分裂施加强假设。
• 通过将深度神经网络与随机森林结合，利用非参数两样本检验提升特征选择的准确性。
• 通过子采样提升计算效率，同时保持选择准确性。
• 提供一种可推广的框架，适用于标准随机森林以外的其他机器学习算法。

提出的方法

• 该方法利用深度神经网络执行非参数两样本检验，通过比较响应类别间特征分布来评估特征相关性。
• 在再生核希尔伯特空间（RKHS）中应用最大均值差异（MMD）来度量分布差异，无需参数假设。
• 通过显著性检验执行特征选择，使用MMD统计量，并在原假设（无差异）下计算p值。
• 采用子采样以降低计算成本，提升大规模数据集的可扩展性，同时保持统计功效。
• 该方法无需基于中位数的分裂或对树结构施加强假设，与先前方法（如最小深度选择）不同。
• 在正则条件下建立了理论性质，包括特征选择的一致性及检验统计量的渐近正态性。

Figure 1: Boxplots for the computation time of different methods based on 200 Monte Carlo simulations, where the features are independently generated. The horizontal segments within the boxplots represent the median computation time. “BRT” represent Boruta, “MVS” stands for the minimum-depth variabl

实验结果

研究问题

• RQ1 基于深度神经网络与随机森林的非参数特征选择方法，是否能在识别相关特征方面优于现有的置换检验与深度检验方法？
• RQ2 在合成数据集与真实世界数据集上，所提出的NFSRD方法在错误发现率与真正例检测方面表现如何？
• RQ3 子采样在多大程度上提升了计算效率，同时不损害特征选择的准确性？
• RQ4 在正则条件下，该方法的理论性质如何，特别是关于一致性和渐近分布？
• RQ5 该框架能否推广至标准随机森林以外的其他机器学习算法？

主要发现

• NFSRD在检测有用特征方面显著优于其他方法，同时有效避免无关特征的引入，尤其在存在大量无用特征的高维场景中表现突出。
• 在高温超导数据集上，NFSRD在α=0.01时选择13个特征，在α=0.05时选择10个特征，全部位于XGBoost识别出的前20个最重要特征之内，而BRT则选择了所有特征，无论其显著性如何。
• 子采样显著降低了计算成本与内存使用，同时保持高准确性，使该方法可扩展至大规模数据集。
• 理论分析证实了特征选择过程的一致性及在正则条件下的MMD检验统计量渐近正态性。
• 该方法对特征相关性具有鲁棒性，且无需对树分裂施加强假设，与基于最小深度的方法不同。
• NFSRD框架具有可推广性，只要能对特征进行排序或分级，即可适配至其他机器学习算法。