[论文解读] Recommending Learning Algorithms and Their Associated Hyperparameters

Michael R. Smith, Logan Mitchell+2 more|arXiv (Cornell University)|Jul 7, 2014

Machine Learning and Data Classification参考文献 17被引用 8

一句话总结

本文提出元协同过滤（Meta-Collaborative Filtering, MCF），一种新颖的元学习方法，通过利用过往实验表现而非依赖人工选择的元特征，推荐最优的机器学习算法与超参数。MCF在性能上超越传统元学习方法，且准确率与Auto-WEKA相当，同时更加高效，并避免了特征工程的需求。

ABSTRACT

The success of machine learning on a given task dependson, among other things, which learning algorithm is selected and its associated hyperparameters. Selecting an appropriate learning algorithm and setting its hyperparameters for a given data set can be a challenging task, especially for users who are not experts in machine learning. Previous work has examined using meta-features to predict which learning algorithm and hyperparameters should be used. However, choosing a set of meta-features that are predictive of algorithm performance is difficult. Here, we propose to apply collaborative filtering techniques to learning algorithm and hyperparameter selection, and find that doing so avoids determining which meta-features to use and outperforms traditional meta-learning approaches in many cases.

研究动机与目标

• 为解决在给定数据集上选择最优学习算法与超参数的挑战，特别是针对非专家用户。
• 克服传统元学习方法中选择预测性元特征的困难。
• 开发一种方法，利用历史实验结果推荐算法与超参数，而无需显式特征工程。
• 评估基于历史表现的协同过滤是否能在算法与超参数推荐中优于基于内容的元学习。

提出的方法

• 对历史实验结果中的算法-超参数组合应用协同过滤（CF）技术，如基线法、模糊C均值聚类、矩阵分解（MF）、非线性主成分分析（NLPCA）及无监督反向传播。
• 将每个数据集视为“用户”，每个算法-超参数配置视为“项目”，性能准确率为“评分”。
• 采用基于稀疏性的评估方法：随机移除10%至90%的历史结果，使用CF方法预测缺失的准确率。
• 根据预测性能推荐前4个算法-超参数配置，并选择预测准确率最高的一个。
• 在10秒内重新训练协同过滤模型，实现对新数据集的快速适应。
• 将MCF性能与默认超参数设置、随机超参数优化及基于元特征的元学习方法进行对比。

实验结果

研究问题

• RQ1 基于历史实验表现的协同过滤是否能有效推荐最优学习算法与超参数，而无需依赖元特征？
• RQ2 MCF在准确率上与使用手工设计元特征的传统元学习方法相比如何？
• RQ3 随着历史数据量的增加（即稀疏性降低），MCF性能是否有所提升？
• RQ4 在推荐准确率方面，MCF与最先进的自动化机器学习工具Auto-WEKA相比表现如何？
• RQ5 考虑到低再训练开销与快速推理，MCF是否可在实际中高效部署？

主要发现

• 矩阵分解（MF）在所有CF技术中达到最高平均准确率，在70%数据使用率下为82.44%，在90%数据使用率下为82.65%。
• MCF显著优于默认超参数设置（准确率为81.93%）及每种算法的随机超参数优化。
• 在所有稀疏度水平下，MCF平均准确率达到82.12%（最佳情况）与81.95%（平均值），超过元学习基线的78.91%。
• 随着数据可用性提高，MCF性能提升，MF在10%数据时准确率为80.49%，在90%数据时提升至82.65%。
• MCF准确率与Auto-WEKA（平均评估16个配置）相当（82.00%），但计算开销显著更低。
• 该方法重新训练协同过滤模型耗时不足10秒，使其在拥有历史实验数据库的现实场景中具备实际部署可行性。