[论文解读] Taking Human out of Learning Applications: A Survey on Automated Machine Learning

Quanming Yao, Mengshuo Wang+7 more|arXiv (Cornell University)|Oct 31, 2018

Machine Learning and Data Classification参考文献 182被引用 221

一句话总结

本综述提出了一种全面的自动化机器学习（AutoML）框架，通过统一问题设置与技术，系统化地整合现有方法。该框架提供了一个结构化的分类体系，分析了关键成功因素，并为研究人员和从业者提供基础性指导，以减少机器学习流程中的人工专业知识依赖。

ABSTRACT

Machine learning techniques have deeply rooted in our everyday life. However, since it is knowledge- and labor-intensive to pursue good learning performance, human experts are heavily involved in every aspect of machine learning. In order to make machine learning techniques easier to apply and reduce the demand for experienced human experts, automated machine learning (AutoML) has emerged as a hot topic with both industrial and academic interest. In this paper, we provide an up to date survey on AutoML. First, we introduce and define the AutoML problem, with inspiration from both realms of automation and machine learning. Then, we propose a general AutoML framework that not only covers most existing approaches to date but also can guide the design for new methods. Subsequently, we categorize and review the existing works from two aspects, i.e., the problem setup and the employed techniques. Finally, we provide a detailed analysis of AutoML approaches and explain the reasons underneath their successful applications. We hope this survey can serve as not only an insightful guideline for AutoML beginners but also an inspiration for future research.

研究动机与目标

• 为应对日益增长的减少机器学习中人工专业知识的需求，通过自动化机器学习流程的关键阶段来实现。
• 通过整合自动化与机器学习的原理，对AutoML问题进行定义与形式化。
• 提出一个可推广的AutoML框架，涵盖现有方法并指导未来方法的设计。
• 基于问题设置与所采用技术，对现有AutoML工作进行分类与回顾。
• 分析各种AutoML方法在实际应用中取得成功背后的根本原因。

提出的方法

• 本文提出一个通用的AutoML框架，将机器学习流程抽象为模块化组件，如数据预处理、特征工程、模型选择和超参数调优。
• 从两个维度对AutoML方法进行分类：问题设置（例如，表格数据、深度学习、基于强化学习的方法）和技术（例如，贝叶斯优化、神经架构搜索、元学习）。
• 该框架设计为可扩展，允许新方法映射到该结构中，并指导新型AutoML技术的开发。
• 本综述结合工业界与学术界文献的洞见，以确保方法的相关性并覆盖最先进技术。
• 强调在统一分类体系下组织多样化AutoML技术时的方法一致性与概念清晰性。
• 对成功应用的分析聚焦于识别算法设计与自动化策略中的共性模式。

实验结果

研究问题

• RQ1 如何正式定义并结构化AutoML问题，以统一文献中多样化的方法？
• RQ2 一个通用AutoML框架的关键组件与模块化元素是什么，能够容纳现有及未来的方法？
• RQ3 不同问题设置（例如，监督学习、强化学习）如何影响AutoML系统的架构设计与性能表现？
• RQ4 在不同AutoML子任务中，哪些技术最为有效，为何它们在实践中取得成功？
• RQ5 顶尖AutoML系统在真实世界应用中取得成功背后存在哪些共性因素？

主要发现

• 所提出的AutoML框架成功地将大多数现有AutoML方法整合并结构化为一个连贯且可扩展的架构。
• 贝叶斯优化与神经架构搜索分别在超参数调优与模型架构搜索中表现出显著有效性。
• 元学习与集成方法在多样化数据集与问题类型中展现出强大的泛化能力。
• AutoML系统成功的关键常归因于高效的搜索策略，以及对数据预处理与特征工程的稳健自动化。
• 本综述识别出一个明确趋势：端到端自动化，即多个机器学习流程阶段被联合优化。
• 该框架为研究人员设计新型AutoML方法提供了实用路线图，通过清晰界定组件及其交互关系。