[论文解读] OpenML Benchmarking Suites

Bernd Bischl, Giuseppe Casalicchio+7 more|TU/e Research Portal|Aug 11, 2017

Machine Learning and Data Classification参考文献 27被引用 22

一句话总结

本文介绍了 OpenML 基准测试套件（OpenML Benchmarking Suites），这是一个集成在 OpenML 平台中的标准化框架，使研究人员能够创建、共享和重用经过筛选的、可重现的机器学习基准测试套件。本文提出了 OpenML-CC18，一个精心筛选的分类基准测试套件，并展示了这些工具如何简化系统性基准测试，提高可重现性，并支持机器学习社区内大规模、可比较的算法评估。

ABSTRACT

Machine learning research depends on objectively interpretable, comparable, and reproducible algorithm benchmarks. We advocate the use of curated, comprehensive suites of machine learning tasks to standardize the setup, execution, and reporting of benchmarks. We enable this through software tools that help to create and leverage these benchmarking suites. These are seamlessly integrated into the OpenML platform, and accessible through interfaces in Python, Java, and R. OpenML benchmarking suites (a) are easy to use through standardized data formats, APIs, and client libraries; (b) come with extensive meta-information on the included datasets; and (c) allow benchmarks to be shared and reused in future studies. We then present a first, carefully curated and practical benchmarking suite for classification: the OpenML Curated Classification benchmarking suite 2018 (OpenML-CC18). Finally, we discuss use cases and applications which demonstrate the usefulness of OpenML benchmarking suites and the OpenML-CC18 in particular.

研究动机与目标

• 解决机器学习研究中缺乏标准化、可重用和可重现的基准测试实践的问题。
• 使研究人员能够轻松创建、共享和重用基准测试套件，并采用一致的评估流程。
• 通过标准化任务定义和元数据，提高不同研究之间算法评估的可比性和可解释性。
• 通过与 OpenML 现有基础设施（包括数据集、任务和实验追踪）的集成，支持大规模、系统性的基准测试。
• 通过支持持续反馈和扩展，促进社区驱动的基准测试套件的持续演进。

提出的方法

• 本文在 OpenML 平台之上引入了一种新的基准测试层，将基准测试套件定义为标准化任务的集合，每个任务均包含数据集、评估流程和性能指标的元数据。
• 利用 OpenML 现有的 API 和 Python、R、Java 客户端库，实现对基准测试套件的无缝集成和程序化访问。
• 作者开发了软件工具以促进基准测试套件的筛选工作，包括数据集质量验证和评估协议一致性的检查。
• OpenML-CC18 作为首个实际应用示例被提出，其数据集从数千个 OpenML 数据集中经过数月的手动检查和质量评估筛选得出。
• 该框架支持自动实验共享和结果发布，确保可重现性，并支持跨研究的长期比较。
• 该系统具备可扩展性，支持资源约束、伦理声明，并可未来与数据清单（datasheets）和引用系统集成。

实验结果

研究问题

• RQ1 如何对基准测试套件进行标准化，以提升机器学习研究中的可重现性和可比性？
• RQ2 支持经过筛选的基准测试套件的创建、共享和重用，需要哪些技术和组织基础设施？
• RQ3 如何设计基准测试套件，使其在保持全面性的同时，对大规模评估具有计算可行性？
• RQ4 标准化的基准测试套件对机器学习研究中算法评估的质量和一致性有何影响？
• RQ5 机器学习社区如何通过社区贡献和反馈，可持续地推动基准测试套件的演进？

主要发现

• OpenML 基准测试套件框架使研究人员能够使用 Python、R 和 Java 的标准化 API，以最少的代码创建、使用和共享基准测试套件。
• OpenML-CC18 是一个经过筛选的分类基准测试套件，使用新工具创建，包含 168 个数据集，这些数据集在质量、多样性和实用性方面均经过筛选。
• 该框架通过在每个任务中直接嵌入评估流程、数据划分和指标，实现了完整的可重现性，确保在不同研究中的一致执行。
• 该基准测试套件已应用于新研究中，包括 AutoML 基准测试套件，证明了其在实际应用中的实用性和集成能力。
• 该平台支持基准测试结果的自动共享与组织，使跨实验的长期比较与分析成为可能。
• 作者识别出若干关键挑战，如大规模数据集带来的计算负载、伦理声明需求，以及对自动化筛选工具的需要，这些均被提议为未来研究方向。