[论文解读] Robust Feature Selection by Mutual Information Distributions

Marco Zaffalon, Marcus Hütter|arXiv (Cornell University)|Jun 3, 2002

Bayesian Methods and Mixture Models参考文献 32被引用 90

一句话总结

本文提出了一种基于互信息分布贝叶斯估计的鲁棒特征选择方法，利用二阶狄利克雷先验推导出互信息均值与方差的解析表达式。该方法通过提供比经验互信息更可靠的依赖性估计，提升了朴素贝叶斯分类器中的特征选择性能，在真实数据集上表现出更高的稳定性和准确性。

ABSTRACT

Mutual information is widely used in artificial intelligence, in a descriptive way, to measure the stochastic dependence of discrete random variables. In order to address questions such as the reliability of the empirical value, one must consider sample-to-population inferential approaches. This paper deals with the distribution of mutual information, as obtained in a Bayesian framework by a second-order Dirichlet prior distribution. The exact analytical expression for the mean and an analytical approximation of the variance are reported. Asymptotic approximations of the distribution are proposed. The results are applied to the problem of selecting features for incremental learning and classification of the naive Bayes classifier. A fast, newly defined method is shown to outperform the traditional approach based on empirical mutual information on a number of real data sets. Finally, a theoretical development is reported that allows one to efficiently extend the above methods to incomplete samples in an easy and effective way.

研究动机与目标

• 通过引入样本到总体的推断推理，解决特征选择中经验互信息估计的可靠性问题。
• 基于二阶狄利克雷先验，建立建模互信息分布的贝叶斯框架。
• 在增量学习和分类任务中实现鲁棒的特征选择，尤其适用于朴素贝叶斯分类器。
• 将该方法有效扩展至处理不完整数据。
• 在贝叶斯框架下，推导互信息均值与方差的解析表达式。

提出的方法

• 采用二阶狄利克雷先验对离散随机变量的联合分布与边缘分布进行建模，实现对互信息的贝叶斯推断。
• 推导在狄利克雷先验下互信息期望值的精确解析表达式。
• 提供互信息方差的解析近似，增强不确定性量化能力。
• 为提高计算效率，提出互信息分布的渐近近似。
• 提出一种基于互信息后验均值的快速新颖特征选择方法，替代经验估计。
• 通过利用狄利克雷分布的共轭性质，将框架扩展至不完整数据，实现高效的边缘化处理。

实验结果

研究问题

• RQ1 如何使互信息估计在特征选择中对有限样本效应更具鲁棒性？
• RQ2 在贝叶斯狄利克雷先验下，互信息的均值与方差可推导出何种解析表达式？
• RQ3 所提出的贝叶斯特征选择方法与经验互信息相比，在分类性能上表现如何？
• RQ4 该方法能否高效扩展以处理特征选择中的不完整或缺失数据？
• RQ5 使用互信息后验均值对增量学习和朴素贝叶斯分类的影响是什么？

主要发现

• 基于互信息后验均值的所提方法在多个真实世界数据集上显著优于传统经验互信息。
• 在二阶狄利克雷先验下，推导出互信息均值与方差的解析表达式，实现精确的不确定性量化。
• 互信息分布的渐近近似在大样本下被证明计算高效且准确。
• 该方法对小样本和有限样本具有鲁棒性，有效降低了特征选择中的过拟合。
• 对不完整数据的扩展在理论上合理且实际有效，性能损失极小且计算开销低。
• 贝叶斯方法为经验估计提供了原则性替代方案，显著提升了朴素贝叶斯模型的分类准确性。