[论文解读] Rough Sets Computations to Impute Missing Data

Fulufhelo V. Nelwamondo, Tshilidzi Marwala|arXiv (Cornell University)|Apr 26, 2007

Rough Sets and Fuzzy Logic参考文献 18被引用 12

一句话总结

本文提出了一种基于粗糙集理论的新型缺失数据填补方法，利用特征关系及下近似与上近似来估计不完整决策表中的缺失值。在真实HIV数据库上的评估显示，该方法在填补缺失数据方面最高可达到99.3%的准确率，表现出高效率且数据粒度降低。

ABSTRACT

Many techniques for handling missing data have been proposed in the literature. Most of these techniques are overly complex. This paper explores an imputation technique based on rough set computations. In this paper, characteristic relations are introduced to describe incompletely specified decision tables.It is shown that the basic rough set idea of lower and upper approximations for incompletely specified decision tables may be defined in a variety of different ways. Empirical results obtained using real data are given and they provide a valuable and promising insight to the problem of missing data. Missing data were predicted with an accuracy of up to 99%.

研究动机与目标

• 开发一种计算高效的缺失数据填补技术，适用于不完整决策表。
• 探索粗糙集理论——特别是下近似与上近似——在不完全指定数据上的应用。
• 评估基于粗糙集的填补方法在真实世界数据上的性能，特别是在存在缺失值的医疗数据库中。
• 证明粗糙集方法可在无需复杂模型或对数据分布做先验假设的情况下实现高准确率。

提出的方法

• 该方法使用特征关系对不完全指定的决策表进行建模，从而定义下近似与上近似，用于缺失值估计。
• 采用不可分辨关系根据共享属性值将相似对象分组，构成近似集的基础。
• 通过将连续属性离散化为四种类别，降低复杂度并提高近似过程的可解释性。
• 基于具有完整值的属性集计算下近似与上近似，其中下近似包含必须属于某一概念的对象，上近似包含可能属于该概念的对象。
• 根据同一概念下近似与上近似中对象的最常见或一致值来填补缺失值。
• 该方法避免插值或外推，完全依赖于与已观测到的完整实例的相似性。

实验结果

研究问题

• RQ1 粗糙集理论能否有效应用于真实世界不完整决策表中的缺失值填补？
• RQ2 下近似与上近似的不同定义如何影响缺失数据估计的准确率？
• RQ3 通过离散化降低数据粒度是否能提升基于粗糙集的填补性能？
• RQ4 与传统的填补技术（如均值填补或列表删除法）相比，所提出方法的准确率如何？

主要发现

• 所提出的基于粗糙集的填补方法在广义化（离散化）的HIV数据库上估计缺失值时，最大准确率达到99.3%。
• 在广义化数据集中，各属性的准确率范围为98.5%（父亲年龄）至99.3%（教育程度），表明在各类变量上均表现优异。
• 该方法显著优于原始（非离散化）数据集，后者准确率范围为74.7%至87.8%，凸显了降低粒度的优势。
• 该方法表明，粗糙集近似可有效处理缺失数据，而无需复杂模型或对数据分布做假设。
• 结果表明，基于相似性的粗糙集填补方法是可行且准确的，尤其当缺失值与其他观测属性相关时效果更佳。
• 该方法的局限性在于仅适用于缺失实例与完全观测实例相似的情况，因其不执行外推或插值。