[论文解读] Regularization and feature selection for large dimensional data

Nand Kishore Sharma, Prathamesh Verlekar+2 more|arXiv (Cornell University)|Dec 6, 2017

Gene expression and cancer classification参考文献 14被引用 3

一句话总结

该论文评估了在支持向量机（SVM）中使用L1、L2或联合正则化方法的五种嵌入式特征选择方法在高维数据中的表现，比较了在稀疏性、相关性和执行时间方面的性能。Elastic Net（EN）在准确率和速度方面始终优于其他方法，展现出在不同数据类型和相关性水平下的鲁棒性。

ABSTRACT

Feature selection has evolved to be an important step in several machine learning paradigms. In domains like bio-informatics and text classification which involve data of high dimensions, feature selection can help in drastically reducing the feature space. In cases where it is difficult or infeasible to obtain sufficient number of training examples, feature selection helps overcome the curse of dimensionality which in turn helps improve performance of the classification algorithm. The focus of our research here are five embedded feature selection methods which use either the ridge regression, or Lasso regression, or a combination of the two in the regularization part of the optimization function. We evaluate five chosen methods on five large dimensional datasets and compare them on the parameters of sparsity and correlation in the datasets and their execution times.

研究动机与目标

• 评估不同正则化技术（L1、L2和L1/L2联合）对高维数据中特征选择性能的影响。
• 将基于SVM与正则化的嵌入式方法与基于相关性的过滤方法（SC和Golub）在具有不同稀疏性和相关性的真实世界数据集上进行比较。
• 从分类准确率（BSR）、稀疏性、相关性敏感度和执行时间等方面评估算法性能。
• 识别哪种正则化策略在不同数据特征下能实现准确率、效率和鲁棒性的最佳平衡。

提出的方法

• 采用五种嵌入式特征选择方法：L1-SVM、L2-SVM、L21、局部学习（LL）和Elastic Net（EN），均基于SVM并采用不同的正则化范数。
• 使用统一的优化框架：min_w,b L(w,b) + λR(w,b)，其中L为损失函数（如合页损失），R为正则化项（L1、L2或混合形式）。
• 在五个高维数据集上应用这些方法：拟南芥（Arabidopsis）、Arcene、Dexter、Dorothea（10万特征）和Gisette，涵盖稀疏和密集数据。
• 通过平衡敏感度率（BSR）、所选特征的稀疏性、相关性敏感度和执行时间来衡量性能。
• 在不同数据特征下进行比较：稀疏性（稀疏 vs. 密集）、相关性（低相关 vs. 高相关）和维度（最高达10万特征）。
• 将SC和Golub作为过滤方法基线，用于与嵌入式方法进行性能对比。

实验结果

研究问题

• RQ1 在不同相关性水平的数据集中，L1、L2和联合L1/L2正则化在分类准确率（BSR）方面的表现如何？
• RQ2 哪种嵌入式方法在稀疏和密集数据集中能实现特征选择稀疏性与分类性能的最佳权衡？
• RQ3 在超大维度设置下（如具有10万特征的Dorothea数据集），五种嵌入式方法的执行时间如何变化？
• RQ4 L1正则化在高相关性数据集中的性能退化程度如何？EN和L21方法的表现如何？
• RQ5 在Elastic Net框架中同时使用L1和L2正则化，是否相比仅在损失或正则化项中使用，能带来更优的性能？

主要发现

• 在五个数据集中的三个中，Elastic Net（EN）达到了最高的平衡敏感度率（BSR），表明其在多样化数据类型中具有卓越的整体性能。
• EN在执行时间方面显著优于其他方法，在最小数据集（Arcene）上平均仅需5.3秒完成特征选择，而第二快的方法耗时45秒。
• 在高相关性数据集（如Dorothea）中，L1-SVM表现最差，而SC（基于相关性的过滤方法）表现最佳，但EN仍位列第二，表明其对相关性的鲁棒性。
• 在低相关性数据集（如Dexter、Gisette）中，局部学习（LL）和L1-SVM表现最佳，而EN在其中三个数据集中的两个中排名第二，凸显其多功能性。
• 在稀疏数据集中，EN和LL实现了最佳的BSR；在密集数据集中，LL、L1-SVM和EN表现最佳，显示出强大的适应能力。
• L21方法（在损失和正则化中均应用两种范数）的表现不如EN，后者仅在正则化项中应用两种范数，表明该配置更具有效性。