[论文解读] N$^3$LARS: Minimum Redundancy Maximum Relevance Feature Selection for Large and High-dimensional Data

Makoto Yamada, Avishek Saha+3 more|arXiv (Cornell University)|Nov 10, 2014

Face and Expression Recognition参考文献 31被引用 3

一句话总结

本文提出 N³LARS，一种可扩展、凸优化、非线性特征选择方法，通过使用归一化希尔伯特-施密特独立性准则（NHSIC）扩展非负最小角回归（LARS），从大规模高维数据集中选择非冗余特征。该方法通过 Hadoop 和 Spark 等 map-reduce 框架支持高效分布式计算，实现全局最优，并在大型生物数据集上优于现有基于过滤的特征选择方法，表现出更高的 AUC 分数和更低的冗余性。

ABSTRACT

We propose a feature selection method that finds non-redundant features from a large and high-dimensional data in nonlinear way. Specifically, we propose a nonlinear extension of the non-negative least-angle regression (LARS) called N${}^3$LARS, where the similarity between input and output is measured through the normalized version of the Hilbert-Schmidt Independence Criterion (HSIC). An advantage of N${}^3$LARS is that it can easily incorporate with map-reduce frameworks such as Hadoop and Spark. Thus, with the help of distributed computing, a set of features can be efficiently selected from a large and high-dimensional data. Moreover, N${}^3$LARS is a convex method and can find a global optimum solution. The effectiveness of the proposed method is first demonstrated through feature selection experiments for classification and regression with small and high-dimensional datasets. Finally, we evaluate our proposed method over a large and high-dimensional biology dataset.

研究动机与目标

• 解决大规模高维数据集中缺乏可扩展、非线性、基于过滤的特征选择方法的问题。
• 通过引入输入-输入相关性，克服基于最大相关性（MR）方法中的冗余问题。
• 开发一种凸优化、全局最优的方法，能够高效扩展至大规模 n 和高维 d 的数据。
• 实现在 Hadoop 和 Spark 等分布式系统上的实际部署，以支持真实世界中的高维数据。

提出的方法

• N³LARS 是非负最小角回归（NN-LARS）的非线性扩展，利用归一化希尔伯特-施密特独立性准则（NHSIC）衡量输入-输出相似性。
• 将特征选择建模为一个凸优化问题，通过 m 步顺序选择，以获得 m 个非冗余特征。
• 利用 LARS 的正则化路径，实现在无需迭代超参数调优的情况下进行特征分析与选择。
• 结合 Nystroem 方法进行核近似，以降低大规模场景下的计算成本。
• 该算法专为 map-reduce 框架设计，支持核矩阵和 LARS 迭代的分布式计算。
• 采用 HSIC 的归一化版本，以确保输入与输出之间依赖度量的有界性和可解释性。

实验结果

研究问题

• RQ1 能否设计一种既可扩展又全局最优的非线性、基于过滤的特征选择方法，适用于大规模高维数据？
• RQ2 在大型生物数据集上，N³LARS 与 HSIC Lasso、mRMR 和线性 Lasso 等现有方法相比，在准确性和冗余性方面表现如何？
• RQ3 基于 LARS 的顺序选择框架能否有效适配为使用 NHSIC 的非线性、非冗余特征选择？
• RQ4 N³LARS 的分布式实现是否能在大规模数据上显著降低计算时间，同时保持性能？
• RQ5 在密集高维场景下，使用 NHSIC 是否能优于标准 HSIC 或基于互信息的方法，从而提升特征选择效果？

主要发现

• 在 TRIM32 基因表达数据集上，N³LARS 的均方误差（MSE）与 HSIC Lasso 和 mRMR 相当，冗余度为 0.42，优于线性 Lasso（0.43）和 HSIC Lasso（0.45）。
• 在 p53 突变数据集（5408 个特征，31,420 个样本）上，N³LARS 在所有测试方法中取得了最高的 AUC 分数，优于 MR-NHSIC 和 mRMR。
• 随着 mapper/reducer 数量的增加，N³LARS 的计算时间显著减少，表明其在分布式环境中的强可扩展性。
• 由于采用凸优化公式，该方法实现了全局最优解，避免了对不同正则化参数进行多次运行的需要。
• 在 p53 数据集上，N³LARS 表现优于 mRMR，表明 mRMR 中的互信息估计在密集高维数据中可能存在不准确性。
• N³LARS 在多次运行中表现出稳健性能，AUC 和 MSE 分数稳定，表明其具有可靠性与一致性。