[论文解读] PMLB v1.0: An open source dataset collection for benchmarking machine learning methods
PMLB v1.0 是一个开源的、集中化的基准数据集仓库，包含多样化、公开可获取的数据集，旨在简化机器学习方法的评估。它通过 Python 和 R 接口提供标准化的程序化访问，支持在各种数据科学工作流中实现快速基准测试，相较于之前版本，显著提升了可用性与社区驱动的改进。
Motivation: Novel machine learning and statistical modeling studies rely on standardized comparisons to existing methods using well-studied benchmark datasets. Few tools exist that provide rapid access to many of these datasets through a standardized, user-friendly interface that integrates well with popular data science workflows. Results: This release of PMLB provides the largest collection of diverse, public benchmark datasets for evaluating new machine learning and data science methods aggregated in one location. v1.0 introduces a number of critical improvements developed following discussions with the open-source community. Availability: PMLB is available at https://github.com/EpistasisLab/pmlb. Python and R interfaces for PMLB can be installed through the Python Package Index and Comprehensive R Archive Network, respectively.
研究动机与目标
- 解决缺乏标准化、易于访问的基准数据集以评估新型机器学习方法的问题。
- 提供一个集中化、用户友好的接口，可无缝集成到 Python 和 R 中流行的数据科学工作流中。
- 通过社区驱动的改进和版本化发布，提升基准数据集的可访问性与可用性。
- 通过提供经过精心筛选、涵盖多个领域的多样化数据集集合，支持可重现的研究。
提出的方法
- 从多个来源聚合多样化、公开可获取的数据集，整合到一个统一、标准化的仓库中。
- 实现一致的、程序化的接口，通过 Python 和 R 软件包实现程序化访问。
- 整合元数据、数据来源信息以及预处理说明，以确保可重现性与可用性。
- 对数据集集合进行版本化（v1.0），以确保在基准测试实验中保持稳定性和可重现性。
- 采用开源许可，并利用社区反馈指导功能开发与数据集筛选。
- 与包管理器（PyPI 和 CRAN）集成，便于在数据科学工作流中轻松安装与部署。
实验结果
研究问题
- RQ1一个集中化、标准化的数据集集合在多大程度上能提升机器学习基准测试的可重现性与效率？
- RQ2现有基准数据集仓库中的关键可用性与集成挑战是什么？这些挑战如何得以解决？
- RQ3社区反馈在多大程度上能改善开源基准数据集的设计与实用性？
- RQ4Python 与 R 的统一接口在多大程度上提升了互操作性与在机器学习研究中的采纳率？
主要发现
- PMLB v1.0 提供了目前公开可获取的、最多样化基准数据集的单一标准化仓库。
- 该数据集集合可通过 Python 和 R 分别通过官方包管理器（PyPI 和 CRAN）访问，支持广泛采用。
- 此次发布包含了基于社区反馈的关键可用性改进，显著提升了可靠性，并增强了与数据科学工作流的集成能力。
- 该仓库通过包含元数据、数据来源信息以及跨数据集的一致预处理，支持可重现的基准测试。
- 该项目以开源形式托管，并配有 DOI，确保了持久访问与学术引用的可行性。
- 稳定版 v1.0 的发布使得不同研究之间的基准测试保持一致，促进了机器学习研究中方法的比较。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。