[论文解读] Preprocessing Methods and Pipelines of Data Mining: An Overview

Canchen Li|arXiv (Cornell University)|Jun 20, 2019

Anomaly Detection Techniques and Applications参考文献 26被引用 13

一句话总结

本文全面概述了数据挖掘中的数据预处理技术，将其分类为数据清洗、转换和降维。它解释了预处理如何通过解决噪声、缺失值和维度问题来提升模型性能，主要贡献在于组织化处理流程并评估不同方法对模型准确率和效率的影响。

ABSTRACT

Data mining is about obtaining new knowledge from existing datasets. However, the data in the existing datasets can be scattered, noisy, and even incomplete. Although lots of effort is spent on developing or fine-tuning data mining models to make them more robust to the noise of the input data, their qualities still strongly depend on the quality of it. The article starts with an overview of the data mining pipeline, where the procedures in a data mining task are briefly introduced. Then an overview of the data preprocessing techniques which are categorized as the data cleaning, data transformation and data preprocessing is given. Detailed preprocessing methods, as well as their influenced on the data mining models, are covered in this article.

研究动机与目标

• 在数据挖掘流程中系统化整理数据预处理技术，以提升模型鲁棒性。
• 解决现实世界数据集中噪声、不完整或不一致数据带来的挑战。
• 评估预处理对模型优化、泛化能力和训练效率的影响。
• 为实践者提供基于数据特征选择合适预处理方法的结构化参考。

提出的方法

• 将预处理划分为三个核心阶段：数据清洗、数据转换和数据降维。
• 回顾数据清洗技术，如缺失值处理、异常值检测和重复项移除。
• 详细说明数据转换方法，包括归一化、标准化和特征工程，以提升模型兼容性。
• 研究通过主成分分析（PCA）和线性判别分析（LDA）进行降维，以及通过采样和选择算法实现实例级降维。
• 引入过滤法、包装法和嵌入法用于特征选择，以优化预测性能。
• 强调使用 scikit-learn 和 PreProcess 等工具在 Python 和 R 中实现预处理流程。

实验结果

研究问题

• RQ1 不同预处理技术如何影响数据挖掘模型的性能与稳定性？
• RQ2 在现实世界数据集中，处理缺失值、异常值和不一致数据的最有效方法是什么？
• RQ3 在高维数据中，特征选择如何影响模型准确率和泛化能力？
• RQ4 像采样和降维这样的数据降维技术在不牺牲模型质量的前提下，能在多大程度上提升训练效率？
• RQ5 预处理在设定从数据中提取知识的上限方面起着什么作用？

主要发现

• 数据预处理通过减少噪声、处理缺失值和纠正不一致性，显著提升模型性能。
• 归一化和标准化通过统一特征尺度和减少算法不稳定性，增强优化收敛性。
• 特征选择方法——尤其是嵌入式方法如套索（Lasso）和岭回归——通过惩罚不相关特征，有效降低过拟合风险。
• 降维技术如主成分分析（PCA）和线性判别分析（LDA）通过聚焦数据中最具信息量的成分，提升模型泛化能力。
• 实例选择与采样方法（包括分层采样和压缩最近邻算法）在保持模型准确率的同时，减少训练时间和资源消耗。
• 数据挖掘流程并非线性；对预处理和建模步骤进行迭代优化是获得最佳结果的关键。