[论文解读] Time series model selection with a meta-learning approach; evidence from a pool of forecasting algorithms

Sasan Barak, Mahdi Nasiri+1 more|arXiv (Cornell University)|Aug 22, 2019

Stock Market Forecasting Methods被引用 4

一句话总结

本文提出了一种用于时间序列模型选择的元学习框架，该框架利用时间序列的特征，从多样化的一流方法池中推荐最佳预测算法。基于NN5数据集和多种元学习器，实验证明元学习器优于单一预测器，且通过特征选择可进一步提升性能，有效填补了算法选择、误差度量敏感性以及特征空间维度方面的关键空白。

ABSTRACT

One of the challenging questions in time series forecasting is how to find the best algorithm. In recent years, a recommender system scheme has been developed for time series analysis using a meta-learning approach. This system selects the best forecasting method with consideration of the time series characteristics. In this paper, we propose a novel approach to focusing on some of the unanswered questions resulting from the use of meta-learning in time series forecasting. Therefore, three main gaps in previous works are addressed including, analyzing various subsets of top forecasters as inputs for meta-learners; evaluating the effect of forecasting error measures; and assessing the role of the dimensionality of the feature space on the forecasting errors of meta-learners. All of these objectives are achieved with the help of a diverse state-of-the-art pool of forecasters and meta-learners. For this purpose, first, a pool of forecasting algorithms is implemented on the NN5 competition dataset and ranked based on the two error measures. Then, six machine-learning classifiers known as meta-learners, are trained on the extracted features of the time series in order to assign the most suitable forecasting method for the various subsets of the pool of forecasters. Furthermore, two-dimensionality reduction methods are implemented in order to investigate the role of feature space dimension on the performance of meta-learners. In general, it was found that meta-learners were able to defeat all of the individual benchmark forecasters; this performance was improved even after applying the feature selection method.

研究动机与目标

• 解决时间序列预测中元学习尚未解决的挑战，包括来自顶尖预测器的输入选择、误差度量敏感性以及特征空间维度问题。
• 评估不同预测误差度量对元学习器性能的影响。
• 研究降维对元学习器在选择最优预测算法时准确性的影响。
• 开发一个稳健的元学习系统，从多样化的一流算法池中选择最佳预测方法。
• 为元学习器相较于单一预测器在多种配置下的有效性提供实证证据。

提出的方法

• 将多样化的一流预测算法应用于NN5竞赛数据集，并使用两种误差度量（MAE和RMSE）对结果进行排序。
• 提取时间序列特征以表征每条序列的特性，作为元学习器的输入。
• 训练六种机器学习分类器（即元学习器），基于提取的特征预测最佳表现的预测算法。
• 应用两种降维技术——主成分分析（PCA）和特征选择，以评估特征空间大小对元学习器性能的影响。
• 通过比较元学习器所选算法与单一预测器在不同顶级模型子集上的表现，评估元学习器的性能。
• 系统分析误差度量和特征空间降维对模型选择准确性的影响。

实验结果

研究问题

• RQ1 预测误差度量的选择（MAE与RMSE）如何影响元学习器在选择最佳算法时的性能？
• RQ2 将不同子集的顶级预测器作为元学习器的输入，会产生何种影响？
• RQ3 降低特征空间的维度如何影响元学习器在时间序列模型选择中的准确性？
• RQ4 元学习器是否能在多样化的时间序列特征下持续优于单一预测算法？
• RQ5 特征选择在多大程度上提升了元学习器在模型选择中的泛化能力和准确性？

主要发现

• 在NN5数据集上，元学习器在选择最佳预测算法方面始终优于所有单一基准预测器。
• 应用特征选择后，元学习器的性能进一步提升，表明减少特征空间可增强模型选择的准确性。
• 误差度量的选择（MAE或RMSE）显著影响元学习器的性能，其中RMSE对模型选择结果表现出更强的敏感性。
• 与使用完整特征集相比，采用降维技术（尤其是特征选择）使元学习器的预测更加稳健和准确。
• 在精心挑选的顶级预测器子集上训练的元学习器，其准确性高于在所有预测器上训练的模型，表明输入选择至关重要。
• 本研究证明，元学习能够有效泛化到多样化的时间序列，是单一预测模型的可靠替代方案。