[论文解读] Statistical Distortion: Consequences of Data Cleaning

Tamraparni Dasu, Ji Meng Loh|arXiv (Cornell University)|Aug 9, 2012

Data Quality and Management参考文献 12被引用 6

一句话总结

本文提出将统计失真作为评估数据清洗策略的关键指标，构建了一个包含故障改善、统计失真（通过地球移动距离测量）和成本的三维框架。研究表明，过度清洗会从根本上改变数据分布，使数据代表性降低，甚至可能更具危害性；当假设与数据特征不匹配时，简单的填补方法反而优于复杂方法。

ABSTRACT

We introduce the notion of statistical distortion as an essential metric for measuring the effectiveness of data cleaning strategies. We use this metric to propose a widely applicable yet scalable experimental framework for evaluating data cleaning strategies along three dimensions: glitch improvement, statistical distortion and cost-related criteria. Existing metrics focus on glitch improvement and cost, but not on the statistical impact of data cleaning strategies. We illustrate our framework on real world data, with a comprehensive suite of experiments and analyses.

研究动机与目标

• 解决现有方法在系统评估数据清洗策略对数据分布统计特性影响方面的不足。
• 提出统计失真作为数据质量的新关键指标，超越故障改善和成本的考量。
• 开发一个可扩展的实验框架，从故障改善、统计失真和成本三个维度评估清洗策略。
• 证明数据清洗可能因改变底层分布而无意中使数据更不洁净，尤其是在未考虑数据特定统计特性的情况下应用清洗策略时。
• 表明当复杂方法的假设与数据不匹配时，更简单、假设更少的清洗方法可能优于复杂方法。

提出的方法

• 提出统计失真作为正式指标，用于量化清洗策略对底层数据分布的改变程度。
• 使用地球移动距离（EMD）来测量原始数据与清洗后数据分布之间的统计失真。
• 采用基于采样的实验框架，在保留时间结构的前提下评估真实数据流中的清洗策略。
• 从三个标准评估策略：故障改善（通过降低故障评分）、统计失真（EMD）和成本（计算或操作成本）。
• 将该框架应用于真实网络数据，评估多种清洗策略，包括Winsorization、填补和异常值剔除，涵盖不同样本大小和变换（如对数变换）。
• 使用散点图和统计摘要，比较50次实验重复中故障减少、失真和成本之间的权衡。

实验结果

研究问题

• RQ1 数据清洗在多大程度上影响数据的底层统计分布，这种影响能否被量化？
• RQ2 常见数据清洗策略在多大程度上引入统计失真，这种失真如何影响数据可用性？
• RQ3 一个包含故障改善、统计失真和成本的三维评估框架，是否能提供比现有二维指标更深入的洞察？
• RQ4 为何在实践中，简单的填补策略可能优于理论上更复杂的算法，即使后者更复杂？
• RQ5 采样技术如何在数据流中保持时间与空间相关性，以实现对清洗策略的有效评估？

主要发现

• 在故障改善与统计失真之间的权衡方面，简单的填补策略显著优于更复杂的算法，尤其当复杂方法对数据分布做出错误假设时。
• 对非正态分布数据应用3-sigma异常值检测和Winsorization导致了显著的统计失真，导致原本合法的数据点被移入异常值区域，从而在清洗后数据中增加了异常值数量。
• 地球移动距离（EMD）有效量化了统计失真，揭示了某些清洗策略对数据分布的改变如此剧烈，以至于清洗后的数据已无法代表原始过程。
• 在偏态或非对称分布下，基于对称性假设的策略（如3-sigma）造成的失真大于其带来的故障校正效益，导致数据质量总体下降。
• 对属性进行对数变换在某些情况下减少了统计失真，表明数据预处理可能显著影响清洗策略的表现。
• 该框架揭示，高故障改善的策略往往伴随高统计失真，凸显了传统指标常被忽略的关键权衡。