[论文解读] OpenDataVal: a Unified Benchmark for Data Valuation

Kevin Fu Jiang, Weixin Liang+2 more|arXiv (Cornell University)|Jun 18, 2023

Data Quality and ManagementDecision Sciences被引用 3

一句话总结

OpenDataVal 是一个统一的开源基准框架，使研究人员和从业者能够跨多种数据集和机器学习任务评估和比较最先进（SOTA）的数据估值算法。它集成了11种SOTA数据估值方法，支持来自scikit-learn和PyTorch的模型，并提供四个下游任务——噪声标签检测、噪声特征检测、样本移除和样本添加，结果表明在所有任务中没有单一算法始终优于其他算法。

ABSTRACT

Assessing the quality and impact of individual data points is critical for improving model performance and mitigating undesirable biases within the training dataset. Several data valuation algorithms have been proposed to quantify data quality, however, there lacks a systemic and standardized benchmarking system for data valuation. In this paper, we introduce OpenDataVal, an easy-to-use and unified benchmark framework that empowers researchers and practitioners to apply and compare various data valuation algorithms. OpenDataVal provides an integrated environment that includes (i) a diverse collection of image, natural language, and tabular datasets, (ii) implementations of eleven different state-of-the-art data valuation algorithms, and (iii) a prediction model API that can import any models in scikit-learn. Furthermore, we propose four downstream machine learning tasks for evaluating the quality of data values. We perform benchmarking analysis using OpenDataVal, quantifying and comparing the efficacy of state-of-the-art data valuation approaches. We find that no single algorithm performs uniformly best across all tasks, and an appropriate algorithm should be employed for a user's downstream task. OpenDataVal is publicly available at https://opendataval.github.io with comprehensive documentation. Furthermore, we provide a leaderboard where researchers can evaluate the effectiveness of their own data valuation algorithms.

研究动机与目标

• 为解决缺乏标准化、用户友好的数据估值算法评估基准的问题。
• 使研究人员能够系统性地比较跨多种数据类型（图像、表格、NLP）的最先进数据估值方法。
• 通过开源代码和公开排行榜，支持数据估值研究的可复现性和透明性。
• 评估数据估值算法在真实世界下游机器学习任务中的有效性。
• 根据具体应用场景，为从业者提供选择合适数据估值方法的指导。

提出的方法

• 提出ExperimentMediator，一种统一的API，用于指定数据集、估值算法、模型、指标和超参数。
• 支持集成11种最先进数据估值算法，包括DataShapley、BetaShapley、LOO和DVRL。
• 提供来自OpenML、scikit-learn和PyTorch的精选公共数据集集合，涵盖图像、表格和NLP任务。
• 通过scikit-learn和PyTorch API支持模型导入，兼容传统机器学习和深度学习模型。
• 采用四个下游评估任务：噪声标签检测、噪声特征检测、样本移除和样本添加实验。
• 为研究人员提供公开排行榜，用于提交并基准测试其自有的数据估值算法。

Figure 1: OpenDataVal is an open-source, easy-to-use and unified benchmark framework for data valuation. It contains a diverse collection of datasets, implementations of eleven state-of-the-art data valuation algorithms, and a variety of modern prediction models. In addition, OpenDataVal provides se

实验结果

研究问题

• RQ1 在多种数据类型和下游机器学习任务中，哪种数据估值算法表现最佳？
• RQ2 不同数据估值方法在检测训练数据中噪声标签方面的表现如何比较？
• RQ3 当移除或添加数据点时，数据估值得分与模型性能的相关性有多大？
• RQ4 数据估值算法能否有效识别现实世界数据集中错误标注或低质量的数据？
• RQ5 是否存在一种普遍最优的数据估值方法，还是性能取决于具体的下游任务？

主要发现

• 没有单一数据估值算法在所有四个下游任务中始终优于其他算法，表明其性能存在任务依赖性。
• DataShapley和BetaShapley在噪声标签检测任务中表现优异，尤其在CIFAR-10等图像数据集上。
• LOO和AME在样本移除与添加实验中表现具有竞争力，尤其在表格和NLP场景中。
• 不同数据模态下数据估值方法的性能差异显著，图像数据表现出更一致的结果，而表格和NLP数据则波动较大。
• 该基准揭示了算法选择应基于具体下游任务，如数据清洗或模型调试。
• OpenDataVal框架支持可复现的评估，并通过公开排行榜和开源代码库推动社区驱动的研究进展。