[论文解读] Techniques for Automated Machine Learning

Yiwei Chen, Qingquan Song+1 more|arXiv (Cornell University)|Jul 21, 2019

Machine Learning and Data Classification参考文献 32被引用 9

一句话总结

本文对自动化机器学习（AutoML）进行了全面综述，将其分类为自动化特征工程（AutoFE）、自动化模型与超参数学习（AutoMHL）以及自动化深度学习（AutoDL）。综述了这些领域中关键的技术方法——贝叶斯优化、强化学习、进化算法和基于梯度的方法，评估了主要的AutoML框架，并指出了在效率、搜索空间设计、可解释性以及跨领域适用性方面面临的关键挑战。

ABSTRACT

Automated machine learning (AutoML) aims to find optimal machine learning solutions automatically given a machine learning problem. It could release the burden of data scientists from the multifarious manual tuning process and enable the access of domain experts to the off-the-shelf machine learning solutions without extensive experience. In this paper, we review the current developments of AutoML in terms of three categories, automated feature engineering (AutoFE), automated model and hyperparameter learning (AutoMHL), and automated deep learning (AutoDL). State-of-the-art techniques adopted in the three categories are presented, including Bayesian optimization, reinforcement learning, evolutionary algorithm, and gradient-based approaches. We summarize popular AutoML frameworks and conclude with current open challenges of AutoML.

研究动机与目标

• 提供对当前AutoML技术在三个核心类别——AutoFE、AutoMHL和AutoDL——中的系统性综述。
• 分析主流AutoML技术（包括贝叶斯优化、强化学习、进化算法和基于梯度的方法）的有效性与效率。
• 评估主流开源与企业级AutoML框架，识别在标准化与基准测试方面的差距。
• 突出当前开放性挑战，如计算效率、搜索空间设计、可解释性以及在传统机器学习任务之外的适用性。
• 倡导开发权威性基准和用户可理解的界面，以促进AutoML在多样化领域中的采纳。

提出的方法

• 将AutoML划分为三个独立组成部分：自动化特征工程（AutoFE）、自动化模型与超参数学习（AutoMHL）以及自动化深度学习（AutoDL），每个部分具有独特的目标与技术挑战。
• 回顾四种主要技术方法：贝叶斯优化（BO）、强化学习（RL）、进化算法（EA）和基于梯度的方法，分析其在AutoFE、AutoMHL和AutoDL中的应用。
• 提出一个双维分析框架用于分析AutoML：技术维度（BO、RL、EA、Gradient）与框架维度（如Auto-sklearn、Hyperopt、Auto-Keras）。
• 为AutoFE和AutoMHL提出优化公式，将特征与超参数选择建模为最小化验证损失的搜索问题。
• 使用标准化基准（如HPOLib用于HPO，NAS-Bench-101用于AutoDL）评估AutoML性能，强调可复现性与公平比较。
• 讨论搜索空间设计的作用，包括AutoDL中的基于单元的架构，并强调人类先验知识对搜索空间质量与性能的影响。

实验结果

研究问题

• RQ1 不同AutoML技术——贝叶斯优化、强化学习、进化算法和基于梯度的方法——在AutoFE、AutoMHL和AutoDL中的表现如何？
• RQ2 在AutoDL中，设计高效且有效的搜索空间的关键挑战是什么？
• RQ3 标准化基准如何提升不同研究与应用领域中AutoML方法的可复现性与可比性？
• RQ4 当前AutoML系统在计算效率、可解释性与用户交互方面的局限性是什么？
• RQ5 AutoML在哪些方面可以超越传统的分类与回归任务，以支持异常检测等新兴领域，特别是在数据不平衡场景下？

主要发现

• AutoFE技术如FeatureRL利用强化学习自动生成与选择特征，减少人工干预并提升模型性能。
• AutoMHL框架如Auto-sklearn在CPU上500秒内即可实现具有竞争力的性能，展现出对表格数据流水线的高效率。
• AutoDL方法，尤其是神经架构搜索（NAS），通常需要数千个GPU天，凸显了尽管有加速技术，仍存在重大效率瓶颈。
• 基准如NAS-Bench-101通过预先计算基于单元的架构的指标，无需重新训练，实现了AutoDL方法的快速、可复现评估。
• 搜索空间设计显著影响AutoML性能，与无约束空间相比，手工设计且基于知识的搜索空间（如基于单元的）表现出更优结果。
• 可解释性与用户交互仍受限，因为大多数AutoML过程为黑箱操作，降低了用户信任度与自定义潜力。