[论文解读] OpenML Benchmarking Suites and the OpenML100.

Bernd Bischl, Giuseppe Casalicchio+6 more|arXiv (Cornell University)|Aug 11, 2017

Machine Learning and Data Classification被引用 35

一句话总结

该论文介绍了 OpenML100，这是一个从 OpenML.org 收集的 100 个分类数据集的精心筛选基准测试套件，旨在实现标准化、可复现的机器学习评估。该套件基于 OpenML 的标准化 API 和元数据构建，可实现便捷访问、机器可读的元数据以及在线结果共享，从而促进在多样化数据集上的大规模对比研究。

ABSTRACT

We advocate the use of curated, comprehensive benchmark suites of machine learning datasets, backed by standardized OpenML-based interfaces and complementary software toolkits written in Python, Java and R. Major distinguishing features of OpenML benchmark suites are (a) ease of use through standardized data formats, APIs, and existing client libraries; (b) machine-readable meta-information regarding the contents of the suite; and (c) online sharing of results, enabling large scale comparisons. As a first such suite, we propose the OpenML100, a machine learning benchmark suite of 100~classification datasets carefully curated from the thousands of datasets available on OpenML.org.

研究动机与目标

• 为解决在多样化数据集上缺乏标准化、可重用的基准测试套件以评估机器学习的问题。
• 通过提供精心筛选、文档详尽的数据集集合，提升机器学习研究中的可复现性和可比性。
• 通过集成标准化的元数据和通过 OpenML 实现的在线结果共享，实现大规模、自动化的对比分析。
• 通过在 Python、Java 和 R 中统一数据格式和客户端库，简化基准测试数据集的访问与使用。

提出的方法

• 基于数据质量、多样性以及元数据的可用性，从 OpenML.org 仓库中筛选 100 个分类数据集。
• 利用 OpenML 现有的基础设施和数据模型，对数据格式和元数据进行标准化。
• 在 Python、Java 和 R 中实现一致的 API 和客户端库，以支持对基准测试套件的程序化访问。
• 为每个数据集嵌入机器可读的元数据，包括任务类型、类别分布和特征统计信息。
• 通过与 OpenML 平台集成，实现在线结果共享与对比。
• 通过将所有数据集和结果链接至集中化、版本控制的知识库，确保可复现性。

实验结果

研究问题

• RQ1 标准化、可重用的基准测试套件在多大程度上能提升机器学习研究的可复现性？
• RQ2 精心筛选的数据集集合在多大程度上能增强机器学习算法评估的可比性？
• RQ3 标准化的元数据和 API 是否能降低在基准测试工作流中集成数据集的开销？
• RQ4 通过在线结果共享实现大规模、社区驱动的机器学习模型对比，在多大程度上是有效的？

主要发现

• OpenML100 提供了一个标准化、可访问的基准测试套件，包含从 OpenML.org 精选的 100 个分类数据集，其选择基于多样性和质量。
• 使用标准化的数据格式和 Python、Java、R 中的客户端库，显著降低了研究人员的集成开销。
• 机器可读的元数据使得在实验之间对数据集和结果进行自动化分析与对比成为可能。
• 通过 OpenML 实现的在线结果共享，促进了大规模、社区驱动的基准测试和可复现性。
• 与 OpenML 基础设施的集成，实现了结果的可追溯性、版本控制以及长期可维护性。
• 该基准测试套件通过在集中化、可访问的平台上链接数据集、实验和结果，支持可复现的研究。