[论文解读] Using Association Rules for Better Treatment of Missing Values

Shariq Bashir, Saad Razzaq+3 more|ArXiv.org|Apr 21, 2009

Data Mining Algorithms and Applications参考文献 12被引用 9

一句话总结

本文提出了一种新颖的混合缺失值填补技术（HMiT），结合关联规则挖掘与k-最近邻（k-NN）方法，以提升数据挖掘中缺失值处理的效果。与传统的基于k-NN的填补方法相比，该方法在准确性和处理时间方面均有提升，在真实世界数据集上表现出更优的性能。

ABSTRACT

The quality of training data for knowledge discovery in databases (KDD) and data mining depends upon many factors, but handling missing values is considered to be a crucial factor in overall data quality. Today real world datasets contains missing values due to human, operational error, hardware malfunctioning and many other factors. The quality of knowledge extracted, learning and decision problems depend directly upon the quality of training data. By considering the importance of handling missing values in KDD and data mining tasks, in this paper we propose a novel Hybrid Missing values Imputation Technique (HMiT) using association rules mining and hybrid combination of k-nearest neighbor approach. To check the effectiveness of our HMiT missing values imputation technique, we also perform detail experimental results on real world datasets. Our results suggest that the HMiT technique is not only better in term of accuracy but it also take less processing time as compared to current best missing values imputation technique based on k-nearest neighbor approach, which shows the effectiveness of our missing values imputation technique.

研究动机与目标

• 为解决真实世界数据集中缺失值这一关键挑战，该挑战显著影响数据质量和下游知识发现。
• 提升数据挖掘与数据库知识发现（KDD）中缺失值填补的准确性和效率。
• 开发一种结合关联规则挖掘与k-NN的混合方法，以实现更有效的填补。
• 在真实世界数据集上，将所提出的HMiT技术与现有最先进的填补方法进行对比评估。

提出的方法

• HMiT技术利用关联规则挖掘识别有助于预测缺失值的属性间关系。
• 将这些关联规则与k-最近邻（k-NN）方法结合，基于相似数据实例优化填补决策。
• 该方法首先应用关联规则挖掘，从完整数据子集中检测频繁项集并生成规则。
• 通过将基于规则的预测与最近邻的k-NN平均值相结合，实现缺失值的填补。
• 混合模型动态加权基于规则和基于k-NN的填补结果，以优化准确性和性能。
• 该方法在真实世界数据集上进行评估，以衡量填补准确性和计算效率。

实验结果

研究问题

• RQ1 如何有效结合关联规则挖掘与k-NN，以提升缺失值填补效果？
• RQ2 所提出的HMiT技术在准确性和处理时间方面是否优于传统的基于k-NN的填补方法？
• RQ3 关联规则能否通过捕捉数据内在依赖关系，提升填补值的可靠性？
• RQ4 该混合方法对真实世界数据集中数据质量的影响如何？

主要发现

• HMiT技术在真实世界数据集上的填补准确率高于传统的基于k-NN的方法。
• 所提出的方法在保持或提升准确率的同时，显著减少了处理时间。
• 关联规则挖掘通过捕捉属性依赖关系，使填补更具上下文感知性。
• 将关联规则与k-NN进行混合集成，可实现更稳健和可靠的缺失值估计。