[论文解读] Pre-selection of independent binary features: an application to diagnosing Scrapie in sheep

Ludmila I. Kuncheva, Christopher J. Whitaker+2 more|arXiv (Cornell University)|Jul 7, 2004

Bayesian Modeling and Causal Inference参考文献 14被引用 2

一句话总结

本文提出一种在仅可获得专家估计的条件概率时，基于朴素贝叶斯假设下使用顺序前向选择（SFS）对独立二值特征进行预选择的方法。结果表明，SFS能够识别出在绵羊 Scrapie 诊断中表现稳健的特征子集，敏感性分析证实了即使在概率估计出现微小变化时，选择结果仍保持一致。

ABSTRACT

Suppose that the only available information in a multi-class problem are expert estimates of the conditional probabilities of occurrence for a set of binary features. The aim is to select a subset of features to be measured in subsequent data collection experiments. In the lack of any information about the dependencies between the features, we assume that all features are conditionally independent and hence choose the Naive Bayes classifier as the optimal classifier for the problem. Even in this (seemingly trivial) case of complete knowledge of the distributions, choosing an optimal feature subset is not straightforward. We discuss the properties and implementation details of Sequential Forward Selection (SFS) as a feature selection procedure for the current problem. A sensitivity analysis was carried out to investigate whether the same features are selected when the probabilities vary around the estimated values. The procedure is illustrated with a set of probability estimates for Scrapie in sheep.

研究动机与目标

• 解决在仅可获得专家估计的条件概率时，选择最优二值特征进行分类的挑战。
• 在特征之间条件独立的假设下，开发一种特征选择策略。
• 评估在概率估计存在不确定性时，特征选择的稳健性。
• 将该方法应用于并验证其在真实世界兽医诊断问题中的效果：绵羊Scrapie的诊断。

提出的方法

• 假设二值特征之间条件独立，从而证明在该假设下朴素贝叶斯分类器为最优选择。
• 采用顺序前向选择（SFS）方法，迭代选择能最大化分类性能的特征。
• 将专家估计的条件概率作为分类器的输入，将其视为已知的概率分布。
• 通过在名义值附近扰动概率估计值，实施敏感性分析以检验特征选择的稳定性。
• 基于朴素贝叶斯框架下的分类准确率，评估特征子集的性能。
• 在绵羊Scrapie诊断的条件概率真实数据集上实施该方法。

实验结果

研究问题

• RQ1 当仅已知条件概率时，哪一组二值特征能实现最高的诊断准确率？
• RQ2 当估计的概率值发生微小变化时，所选特征子集的稳定性如何？
• RQ3 在朴素贝叶斯假设下，顺序前向选择是否能有效识别出近似最优的特征子集？
• RQ4 该方法能否在数据有限的真实诊断问题中可靠应用？

主要发现

• 顺序前向选择成功识别出在朴素贝叶斯分类器下使用专家估计概率时表现良好的特征子集。
• 即使在条件概率的合理范围内发生扰动，所选特征集仍保持一致，表明其具有稳健性。
• 该方法在实际诊断应用中展现出实用性：利用专家对特征概率的知识，成功识别出绵羊Scrapie。
• 敏感性分析表明，概率估计的微小变化不会显著改变所选特征集，从而增强了选择过程的可信度。