[论文解读] Statistical Learning to Operationalize a Domain Agnostic Data Quality Scoring

Sezal Chug, Priya Kaushal+2 more|arXiv (Cornell University)|Aug 16, 2021

Artificial Intelligence in Healthcare被引用 4

一句话总结

本文提出了一种基于统计学习的领域无关数据质量评分框架，用于自动化数据集质量评估。通过主成分分析（PCA）和变异测试，对九种数据质量要素（如数据来源、缺失数据、一致性等）进行分析，系统生成标准化的DQ评分、标签和报告。验证结果显示，DHS数据集从1998年到2015年期间质量持续提升。

ABSTRACT

Data is expanding at an unimaginable rate, and with this development comes the responsibility of the quality of data. Data Quality refers to the relevance of the information present and helps in various operations like decision making and planning in a particular organization. Mostly data quality is measured on an ad-hoc basis, and hence none of the developed concepts provide any practical application. The current empirical study was undertaken to formulate a concrete automated data quality platform to assess the quality of incoming dataset and generate a quality label, score and comprehensive report. We utilize various datasets from healthdata.gov, opendata.nhs and Demographics and Health Surveys (DHS) Program to observe the variations in the quality score and formulate a label using Principal Component Analysis(PCA). The results of the current empirical study revealed a metric that encompasses nine quality ingredients, namely provenance, dataset characteristics, uniformity, metadata coupling, percentage of missing cells and duplicate rows, skewness of data, the ratio of inconsistencies of categorical columns, and correlation between these attributes. The study also provides an illustrative case study and validation of the metric following Mutation Testing approaches. This research study provides an automated platform which takes an incoming dataset and metadata to provide the DQ score, report and label. The results of this study would be useful to data scientists as the value of this quality label would instill confidence before deploying the data for his/her respective practical application.

研究动机与目标

• 解决数据科学工作流中缺乏标准化、自动化的数据质量评估问题。
• 开发一个实用且可扩展的平台，客观且主观地评估数据集质量。
• 通过在合成数据集和真实数据集上使用变异测试，验证所提出度量的鲁棒性。
• 通过提供类似营养标签的透明、可解释的数据质量标签，使数据科学家能够做出明智决策。
• 通过量化跨多样化领域的数据质量，支持在AI/ML系统中部署高质量数据。

提出的方法

• 该框架识别九种核心数据质量要素：数据来源、数据集特征、一致性、元数据耦合、缺失单元、重复行、偏度、分类不一致比率和属性相关性。
• 应用主成分分析（PCA）以降低维度，并从九种要素中推导出综合数据质量评分。
• 通过案例研究在1998–99、2005–06和2015–16年期间的印度DHS人口与健康调查（DHS）数据集上评估该度量，按重编码手册部分进行分段分析。
• 使用变异测试验证该度量：生成具有受控噪声（插入或删除）的合成数据集，以测试DQ评分对噪声的敏感性。
• 系统接收原始数据集和元数据，自动计算评分，生成质量标签（例如，“高”、“中”、“低”），并生成全面的质量报告。
• 未来改进包括使用语义相似度的NLP-based元数据匹配技术，以及通过直接解析PDF代码本或网络源，支持非CSV/SPSS格式。

实验结果

研究问题

• RQ1 能否构建一个统一的、领域无关的数据质量度量，以统计上合理的方式捕捉多种质量维度？
• RQ2 所提出的DQ评分在纵向数据集（如印度DHS）中与已知的数据质量趋势相关性如何？
• RQ3 该度量对受控数据扰动（如噪声插入/删除）的响应是否具有可预测性？
• RQ4 该框架能否推广到医疗保健以外的多样化数据集？如何扩展以支持非表格格式？
• RQ5 如何在异构数据源之间自动化并标准化元数据耦合与数据来源？

主要发现

• DHS印度数据集的DQ评分从1998–99年到2015–16年期间从85%稳步提升至93%，表明数据质量随时间持续改善。
• 所有三年的DHS印度调查中，数据来源和一致性评分均保持在100%，表明数据血缘和结构一致性极强。
• 元数据耦合评分在85%至95%之间，且逐年稳步提升，反映出文档质量的增强。
• 该度量对数据扰动表现出敏感性：添加噪声会降低DQ评分，而移除噪声则会提高评分，验证了其响应能力。
• 案例研究证实，该框架能够可靠地捕捉不同数据集部分的质量趋势与差异，支持其在真实世界数据评估中的应用。
• 变异测试提供了实证验证，表明该度量能准确反映数据质量的变化，证实其在实际部署中的可靠性。