[论文解读] PowerShap: A Power-Full Shapley Feature Selection Method

Jarne Verhaeghe, Jeroen Van Der Donckt+2 more|Ghent University Academic Bibliography (Ghent University)|Jun 16, 2022

Machine Learning and Data Classification被引用 4

一句话总结

PowerShap 是一种新颖且快速的包装器特征选择方法，结合了 Shapley 值与统计功效计算及假设检验，以高效识别信息特征。它在保持与最先进包装器方法相当的预测性能的同时，通过智能迭代控制和自动超参数调优模式，显著提升了速度——通常将执行时间减少一半或更多。

ABSTRACT

Feature selection is a crucial step in developing robust and powerful machine learning models. Feature selection techniques can be divided into two categories: filter and wrapper methods. While wrapper methods commonly result in strong predictive performances, they suffer from a large computational complexity and therefore take a significant amount of time to complete, especially when dealing with high-dimensional feature sets. Alternatively, filter methods are considerably faster, but suffer from several other disadvantages, such as (i) requiring a threshold value, (ii) not taking into account intercorrelation between features, and (iii) ignoring feature interactions with the model. To this end, we present powershap, a novel wrapper feature selection method, which leverages statistical hypothesis testing and power calculations in combination with Shapley values for quick and intuitive feature selection. Powershap is built on the core assumption that an informative feature will have a larger impact on the prediction compared to a known random feature. Benchmarks and simulations show that powershap outperforms other filter methods with predictive performances on par with wrapper methods while being significantly faster, often even reaching half or a third of the execution time. As such, powershap provides a competitive and quick algorithm that can be used by various models in different domains. Furthermore, powershap is implemented as a plug-and-play and open-source sklearn component, enabling easy integration in conventional data science pipelines. User experience is even further enhanced by also providing an automatic mode that automatically tunes the hyper-parameters of the powershap algorithm, allowing to use the algorithm without any configuration needed.

研究动机与目标

• 解决传统包装器特征选择方法在高维数据集中的高计算成本问题。
• 克服过滤方法的局限性，如对任意阈值的依赖、缺乏特征间交互建模以及忽略模型特异性特征交互。
• 开发一种结合包装器预测能力与过滤方法速度的方法，利用统计功效和 Shapley 值实现。
• 通过自动调优模式实现开箱即用的集成，支持无缝嵌入 scikit-learn 工作流，配置需求极低。
• 为多样化机器学习领域提供可扩展、开源的高效特征选择解决方案。

提出的方法

• PowerShap 使用 Shapley 值量化每个特征对模型预测的贡献，利用与模型无关的可解释性。
• 通过假设检验判断某一特征的 Shapley 值是否显著不同于随机基线特征的值。
• 该方法采用功效计算，动态确定达到足够统计功效所需的最小迭代次数，从而减少不必要的计算。
• 自动模式根据功效需求调优超参数（如迭代次数），实现无需用户配置的使用。
• 递归收敛模式会排除已选特征并重新运行过程，以检测更多有信息量的特征，从而在高维设置中提升检测能力。
• 该算法实现为与 scikit-learn 兼容的估计器，支持无缝集成到标准机器学习流程中。

实验结果

研究问题

• RQ1 包装器特征选择方法是否能在显著降低计算时间的同时，实现与最先进方法相当的性能？
• RQ2 统计功效计算是否可有效用于优化基于 Shapley 的特征选择中的迭代次数，从而提升效率？
• RQ3 PowerShap 中的自动超参数调优模式是否能在无需用户输入的情况下保持高性能？
• RQ4 在多种数据集上，PowerShap 与过滤方法和包装器基线相比，在特征选择准确性和执行速度方面表现如何？
• RQ5 递归收敛模式在高维、复杂数据集中对有信息量特征的检测能力提升程度如何？

主要发现

• 在基准实验中，PowerShap 实现了与最先进包装器方法（如 ShapICant）相当的预测性能，同时将执行时间减少了一半或更多。
• 在包含 500 个特征、其中 450 个为有信息量特征的模拟实验中，PowerShap 的收敛模式将检测到的有信息量特征比例从 38% 提升至 73%，且未引入噪声特征。
• PowerShap 的自动模式可在无需任何用户配置的情况下实现有效的特征选择，并在多种数据集上保持强劲性能。
• 与传统过滤方法相比，PowerShap 在特征选择质量方面表现更优，尤其在特征间互相关性和模型交互作用重要的场景中。
• 该方法在分类和回归基准测试中均表现出稳健性，且在速度和准确性方面均保持一致的性能提升。
• 开源且与 scikit-learn 兼容的实现，使其可轻松集成到现有数据科学工作流中，显著提升可访问性与采用率。