[论文解读] ReinBo: Machine Learning pipeline search and configuration with Bayesian Optimization embedded Reinforcement Learning

Xudong Sun, Jiali Lin+1 more|arXiv (Cornell University)|Apr 10, 2019

Machine Learning and Data Classification参考文献 29被引用 9

一句话总结

ReinBo 提出了一种新颖的 AutoML 框架，将贝叶斯优化（BO）集成到强化学习（RL）流程中，以在分层的、条件性的超参数空间内联合搜索和配置机器学习流水线。通过将问题分解为流水线选择和超参数优化两个子任务，ReinBo 在收敛速度和资源使用方面均优于 Auto-sklearn、TPOT 和随机搜索，实现了最先进性能。

ABSTRACT

Machine learning pipeline potentially consists of several stages of operations like data preprocessing, feature engineering and machine learning model training. Each operation has a set of hyper-parameters, which can become irrelevant for the pipeline when the operation is not selected. This gives rise to a hierarchical conditional hyper-parameter space. To optimize this mixed continuous and discrete conditional hierarchical hyper-parameter space, we propose an efficient pipeline search and configuration algorithm which combines the power of Reinforcement Learning and Bayesian Optimization. Empirical results show that our method performs favorably compared to state of the art methods like Auto-sklearn , TPOT, Tree Parzen Window, and Random Search.

研究动机与目标

• 解决机器学习流水线中复杂、条件性、分层超参数空间的优化挑战。
• 改进现有 AutoML 系统中将流水线组合与超参数调优分开处理或使用平坦化条件空间表示的方法。
• 开发一种方法，以极低计算成本高效探索混合离散与连续的条件搜索空间。
• 为非专家用户提供自动化、无需专家干预的机器学习流水线构建与配置能力。
• 提供轻量级、高效的实现，适用于标准硬件的实用化部署。

提出的方法

• 将流水线搜索与超参数配置问题建模为分层马尔可夫决策过程（MDP），其中动作对应于选择流水线组件和超参数。
• 在 Q-learning 框架中嵌入贝叶斯优化，以指导每个选定流水线的超参数配置探索。
• 将优化过程分解为两个子任务：(1) 通过强化学习选择流水线组件，(2) 对每个活跃流水线通过贝叶斯优化优化超参数。
• 使用祖先采样与 Parzen 窗口密度估计器建模条件超参数分布，实现高效的提议生成。
• 通过将资源分配建模为强化学习问题，利用探索与利用之间的权衡，受 Hyperband 的连续剪枝策略启发。
• 实现一个轻量级 R 包 `reinbo`，用于在标准硬件上高效执行，支持条件空间中的离散与连续超参数。

实验结果

研究问题

• RQ1 贝叶斯优化能否有效嵌入强化学习框架中，以联合优化流水线组合与超参数？
• RQ2 与 Auto-sklearn、TPOT 和随机搜索等最先进 AutoML 系统相比，所提出的 ReinBo 方法在性能与效率方面表现如何？
• RQ3 超参数空间的分层、条件性结构在多大程度上影响 AutoML 算法的可扩展性与收敛性？
• RQ4 将 BO 集成到 RL 中能否提升样本效率，减少流水线搜索中昂贵的模型评估次数？
• RQ5 ReinBo 在不同数据集上的表现如何，其预测准确率与计算成本有何变化？

主要发现

• 在 15 个基准数据集上，ReinBo 在 Mann-Whitney U 检验中以 α=0.05 的显著性水平在 5 项比较中胜出，优于随机搜索、TPE、Auto-sklearn、TPOT-light 和 TPOT。
• 在 15 个数据集中的 10 个上实现了最佳中位数性能，且在 8 个数据集上取得了最低的平均误分类误差（mmce），包括 diabetes 和 ozone-level-8hr 数据集。
• 该方法表现出高度稳定性，表现为 10 次重复实验中 mmce 的箱线图四分位距较窄，表明运行间性能一致。
• ReinBo 所需计算时间显著少于 Auto-sklearn 和 TPOT，每个数据集的平均运行时间低于随机搜索，且与 TPOT-light 竞争力相当。
• ReinBo 最终流水线中最常选择的组件为标准化（51.8%）、FilterAnova（42.0%）和 ksvm（55.2%），表明对这些配置有强烈偏好。
• 系统对 ksvm 的相对频率达到 55.2%，ranger 为 40.2%，表明其能有效识别出适用于多样化数据类型的表现优异分类器。