[论文解读] RankML: a Meta Learning-Based Approach for Pre-Ranking Machine Learning Pipelines

Doron Laadan, Roman Vainshtein+3 more|arXiv (Cornell University)|Oct 31, 2019

Machine Learning and Data Classification参考文献 25被引用 6

一句话总结

RankML 是一种元学习方法，无需执行即可预测并排序针对给定数据集的机器学习流水线，利用先前数据集的元特征和流水线拓扑结构。它在 244 个数据集上实现了最先进性能，推理速度接近瞬时（时间复杂度 O(1)），在计算成本远低于 TPOT 和 auto-sklearn 等计算密集型基线方法的同时，性能表现优于或匹配这些基线，将运行时间从数小时缩短至数秒。

ABSTRACT

The explosion of digital data has created multiple opportunities for organizations and individuals to leverage machine learning (ML) to transform the way they operate. However, the shortage of experts in the field of machine learning -- data scientists -- is often a setback to the use of ML. In an attempt to alleviate this shortage, multiple approaches for the automation of machine learning have been proposed in recent years. While these approaches are effective, they often require a great deal of time and computing resources. In this study, we propose RankML, a meta-learning based approach for predicting the performance of whole machine learning pipelines. Given a previously-unseen dataset, a performance metric, and a set of candidate pipelines, RankML immediately produces a ranked list of all pipelines based on their predicted performance. Extensive evaluation on 244 datasets, both in regression and classification tasks, shows that our approach either outperforms or is comparable to state-of-the-art, computationally heavy approaches while requiring a fraction of the time and computational cost.

研究动机与目标

• 解决自动化机器学习（AutoML）流水线生成过程中计算成本高和训练时间长的问题。
• 通过利用先前分析过的数据集和流水线的元知识，减少对昂贵流水线评估的依赖。
• 利用数据和流水线结构的元特征，实现实时、可扩展的新型数据集机器学习流水线预排序。
• 构建一个公开可用的数据集，涵盖多样化分类和回归任务中的流水线性能。
• 证明元学习可在不需在目标数据集上重新评估的情况下，有效预测流水线性能。

提出的方法

• RankML 从数据集（如统计特性、类别分布）和流水线拓扑结构（如原始组件序列、模型类型）中构建元特征。
• 采用元学习框架，在先前大量流水线性能结果数据集上进行训练，以预测新数据集的流水线排序。
• 结合数据层面和流水线层面的元特征，建模数据特征与流水线架构之间的交互关系。
• RankML 在不执行任何流水线的前提下，基于预测性能指标（如准确率、均方误差）生成候选流水线的排序列表。
• 利用包含 244 个数据集和 100 多个流水线的知识库，实现对多样化机器学习任务的泛化能力。
• 该方法计算效率高，推理时间接近 O(1)，支持实时预排序。

实验结果

研究问题

• RQ1 能否使用元学习在不执行流水线的情况下预测整个机器学习流水线的性能？
• RQ2 将数据集元特征与流水线拓扑结构相结合的表示方法，在预测流水线排序方面有多有效？
• RQ3 元学习系统是否能在显著降低计算成本的同时，实现或超越最先进 AutoML 框架的预测准确率？
• RQ4 在评估的前 K 个排名流水线数量增加时，RankML 的性能如何变化？
• RQ5 RankML 在训练过程中未见过特征的数据集上，其泛化能力在多大程度上成立？

主要发现

• 在考虑排名第一的流水线时，RankML 在 39% 的分类数据集上实现了优于或相当的性能（BOC），与 TPOT 和 auto-sklearn 表现相当。
• 在回归任务中，当评估前 10 个流水线时，RankML 在 57% 的数据集上实现了 BOC 性能，且计算量极低，表现与基线相当或更优。
• RankML 平均每数据集仅需 1 分钟（回归）和 3 分钟（分类），而 TPOT 分别需要 53 分钟和 115 分钟。
• Friedman 检验确认，在 95% 置信水平下，RankML 的性能与基线无统计学差异。
• 在回归任务中，当 K ≥ 8 时，RankML 的性能与 auto-sklearn(E) 相当，意味着仅需评估 8 个流水线即可达到可比结果。
• RankML 推荐的最高等级流水线具有多样性，其中 MaxAbsScaler（16%）和 StandardScaler（11%）是最常使用的预处理组件。