[论文解读] Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks

Zahra Atashgahi, Xuhao Zhang+6 more|arXiv (Cornell University)|Mar 10, 2023

Neural Networks and Applications被引用 5

一句话总结

NeuroFS 是一种资源高效的有监督特征选择方法，通过在稀疏神经网络中动态剪枝和再生神经元，实现训练过程中信息性输入特征的演化。它在11个真实世界数据集上实现了最先进（SOTA）的排序性能，同时与密集神经网络基线相比显著降低了计算和内存成本。

ABSTRACT

Feature selection that selects an informative subset of variables from data not only enhances the model interpretability and performance but also alleviates the resource demands. Recently, there has been growing attention on feature selection using neural networks. However, existing methods usually suffer from high computational costs when applied to high-dimensional datasets. In this paper, inspired by evolution processes, we propose a novel resource-efficient supervised feature selection method using sparse neural networks, named \enquote{NeuroFS}. By gradually pruning the uninformative features from the input layer of a sparse neural network trained from scratch, NeuroFS derives an informative subset of features efficiently. By performing several experiments on $11$ low and high-dimensional real-world benchmarks of different types, we demonstrate that NeuroFS achieves the highest ranking-based score among the considered state-of-the-art supervised feature selection models. The code is available on GitHub.

研究动机与目标

• 解决基于神经网络的特征选择在高维数据集上计算和内存成本过高的问题。
• 通过利用具有动态输入层神经元演化的稀疏神经网络，提升嵌入式特征选择的效率。
• 开发一种在大幅降低FLOPs和参数量的同时，仍能保持高特征选择准确率的方法。
• 在低维和高维真实世界基准上展示卓越的性能和鲁棒性。

提出的方法

• NeuroFS 从零开始训练一个稀疏神经网络，基于输入层神经元对预测损失的贡献度，动态地进行剪枝和再生。
• 该方法引入了一种神经元演化过程，逐步移除信息量少的输入神经元，并根据基于梯度的重要性评分重新生成它们。
• 通过超参数 ε 控制稀疏性，ε 决定了输入层的目标稀疏度水平。
• 输入层神经元更新比例 ζ_in 控制训练过程中神经元更新的频率和程度。
• 该算法采用可微分的剪枝策略，在演化输入表示的同时保持训练稳定性。
• 特征选择结果来自训练结束后激活的输入神经元集合，这些神经元代表最具信息量的特征。

Figure 1 : Overview of “NeuroFS” . At initialization, a sparse MLP is initialized (Section 3.2.1 ). During training, at each training epoch, after standard feed-forward and back-propagation, input and hidden layers are updated such that a large fraction of unimportant input neurons are gradually dro

实验结果

研究问题

• RQ1 在稀疏神经网络中，动态神经元演化是否能在降低计算成本的同时提升特征选择性能？
• RQ2 NeuroFS 在准确率和效率方面与当前最先进的基于神经网络的特征选择方法相比如何？
• RQ3 剪枝持续时间、稀疏度水平和更新频率等超参数对特征选择质量有何影响？
• RQ4 NeuroFS 在不同样本量的低维和高维数据集上是否均能保持稳健的性能？

主要发现

• 在11个真实世界基准数据集中，NeuroFS 在所有对比的最先进特征选择方法中，平均基于排序的得分最高。
• 在高维数据集如 GLA-BRA-180（d=180, m=180）上，NeuroFS 达到1.0的排序得分，优于所有竞争方法。
• 与密集MLP相比，NeuroFS 将FLOPs降低高达95%，参数量降低高达98%，在GLA-BRA-180数据集上仅保留原始参数量的3.18%。
• 该方法在高维数据集上尤其高效，GLA-BRA-180的FLOP计数低至0.18×10^12，而密集模型为5.52×10^12。
• 在大多数数据集上，性能对超参数范围具有稳定性，但高维低样本数据集对稀疏度水平较为敏感。
• 最优超参数为 α=0.65（神经元移除持续时间）、ε=30（稀疏度水平）和 ζ_in=0.2（更新比例），基于消融实验确定。

(a)