[论文解读] Supervised Feature Selection via Dependence Estimation

Le Song, Alex Smola+3 more|ArXiv.org|Apr 20, 2007

Neural Networks and Applications参考文献 14被引用 35

一句话总结

本文提出BAHSIC，一种基于希尔伯特-施密特独立性准则（HSIC）的监督特征选择方法，用于衡量特征与标签之间的依赖关系，从而在分类和回归任务中有效筛选出相关特征。通过采用后向消除算法，BAHSIC在无需密度估计或特定分类器调优的情况下实现了优越性能。

ABSTRACT

We introduce a framework for filtering features that employs the Hilbert-Schmidt Independence Criterion (HSIC) as a measure of dependence between the features and the labels. The key idea is that good features should maximise such dependence. Feature selection for various supervised learning problems (including classification and regression) is unified under this framework, and the solutions can be approximated using a backward-elimination algorithm. We demonstrate the usefulness of our method on both artificial and real world datasets.

研究动机与目标

• 开发一种统一且理论严谨的监督特征选择框架，适用于分类与回归任务。
• 解决现有方法依赖密度估计或局限于特定学习问题的局限性。
• 提供一种计算高效且可解释的过滤型方法，与特定分类器解耦。
• 通过HSIC的统一收敛性，确保依赖检测与泛化能力的理论保障。
• 证明后向消除结合HSIC在多样化数据设置下选择信息特征的有效性。

提出的方法

• 采用希尔伯特-施密特独立性准则（HSIC）作为输入特征与标签之间依赖关系的非参数度量，避免密度估计。
• 将特征选择建模为在特征子集上最大化HSIC，目标是识别出对标签最具预测力的特征。
• 使用后向消除算法（BAHSIC），通过迭代移除HSIC得分最低的特征。
• 利用核矩阵估计HSIC：$\mathrm{HSIC}(\mathcal{F}, \mathcal{G}, \Pr_{xy}) = \frac{1}{m(m-3)} \left[ \mathrm{tr}(\mathbf{K}\mathbf{L}) + \frac{\mathbf{1}^\top \mathbf{K} \mathbf{1} \mathbf{1}^\top \mathbf{L} \mathbf{1}}{(m-1)(m-2)} - \frac{2}{m-2} \mathbf{1}^\top \mathbf{K} \mathbf{L} \mathbf{1} \right] $，其中$\mathbf{K}$和$\mathbf{L}$分别为特征和标签的核矩阵。
• 在标签空间中应用不同的核函数，以在单一框架内处理二分类、多分类和回归问题。

实验结果

研究问题

• RQ1 基于HSIC的依赖度量是否能有效捕捉监督学习中特征与标签之间的线性和非线性关系？
• RQ2 与前向选择相比，基于HSIC的后向消除在特征选择质量与稳定性方面表现如何？
• RQ3 HSIC-based特征选择在不同类型的监督学习任务（包括分类与回归）中具有多大程度的泛化能力？
• RQ4 在真实世界与合成数据集上，该方法是否在预测准确率与鲁棒性方面优于现有过滤型方法？
• RQ5 HSIC-based选择是否能在无需密度估计或分类器特定优化的情况下实现优异性能？

主要发现

• BAHSIC在特征选择质量上优于前向选择，因为后向消除能更好地在完整特征集背景下评估特征。
• 该方法在人工数据与真实世界数据上均表现出色，展现出在多样化数据类型与任务类型下的鲁棒性。
• HSIC满足依赖检测与泛化的理论条件，包括检测任意非线性依赖关系的能力以及统一收敛性保证。
• BAHSIC适用于二分类、多分类与回归问题，无需任务特定修改或一对多策略。
• 当采用特定核函数时，该框架可涵盖许多现有特征选择方法作为特例，体现了其通用性。
• 结合HSIC的后向消除策略相比其他贪心方法，能实现更好的泛化性能与更稳定的特征子集。