[论文解读] The impact of data set similarity and diversity on transfer learning success in time series forecasting

Claudia Ehrig, Sonnleitner, Benedikt+3 more|arXiv (Cornell University)|Apr 9, 2024

Forecasting Techniques and Applications被引用 4

一句话总结

本研究探讨了在使用预训练的DeepAR模型进行时间序列预测时，源-目标数据集相似性与源数据多样性对迁移学习性能的影响。研究发现，更高的相似性可提升零样本预测的准确率并降低偏差，而更大的多样性则能增强不确定性估计与准确率，尤其在零样本设置下表现更优，其中基于特征的度量方法优于基于形状的度量方法。

ABSTRACT

Pre-trained models have become pivotal in enhancing the efficiency and accuracy of time series forecasting on target data sets by leveraging transfer learning. While benchmarks validate the performance of model generalization on various target data sets, there is no structured research providing similarity and diversity measures to explain which characteristics of source and target data lead to transfer learning success. Our study pioneers in systematically evaluating the impact of source-target similarity and source diversity on zero-shot and fine-tuned forecasting outcomes in terms of accuracy, bias, and uncertainty estimation. We investigate these dynamics using pre-trained neural networks across five public source datasets, applied to forecasting five target data sets, including real-world wholesales data. We identify two feature-based similarity and diversity measures, finding that source-target similarity reduces forecasting bias, while source diversity improves forecasting accuracy and uncertainty estimation, but increases the bias.

研究动机与目标

• 系统评估源-目标相似性与源数据多样性对时间序列预测中迁移学习成功的影响。
• 识别哪些数据集特征（通过基于特征的相似性与多样性度量）能预测在零样本与微调设置下的更好预测性能。
• 为在缺乏领域特定预训练的情况下，选择相似或多样化的源数据集的有效性提供实证证据。
• 建立一种基于可测量的、基于特征的指标而非基于形状或临时性相似性度量的迁移学习成功评估框架。

提出的方法

• 在五个来自不同领域的公开时间序列数据集上预训练了一个DeepAR模型，包括一个组合的'多源'模型，以模拟小型基础模型。
• 在五个目标数据集（包括实际的零售销售数据）上，将预训练模型应用于零样本与微调预测设置。
• 使用tsfresh与catch22特征计算两种基于特征的相似性度量，以量化源-目标相似性与源数据多样性。
• 将源数据多样性定义为数据集中时间序列特征的方差，并在潜在的主成分分析（PCA）空间中可视化，以增强可解释性。
• 以ETS为基准，采用准确率、偏差、不确定性估计与训练时间等指标评估预测性能。
• 使用动态时间规整（DTW）作为基于形状的相似性度量进行对比，但未发现显著相关性。

Figure 1: Zero-shot/scratch (red circles) and fine-tuned (blue circles) accuracy in AvgRelRMSE (see Eq. 1 ) per source model across the five target data sets.

实验结果

研究问题

• RQ1 在特征空间中，源-目标相似性如何影响零样本与微调预测的准确率与偏差？
• RQ2 通过特征方差衡量的源数据多样性，如何影响迁移学习中的预测准确率与不确定性估计？
• RQ3 如DTW等基于形状的相似性度量是否与迁移学习性能相关？还是基于特征的度量更具预测性？
• RQ4 相似性与多样性对预测性能的影响关系，在零样本与微调设置之间有何差异？
• RQ5 基于特征的相似性与多样性度量能否指导在新预测应用中选择最优源数据集？

主要发现

• 在tsfresh特征空间中，更高的源-目标相似性显著提升零样本预测准确率并降低偏差，且该效应在零样本设置中强于微调设置。
• 在catch22特征中，更高的源数据多样性可提升零样本准确率并实现更可靠的不确定性估计，但同时会增加该设置下的偏差。
• 在tsfresh特征中，源数据多样性反而增加零样本偏差，表明并非所有多样性度量都能在所有性能维度上带来一致改进。
• 在微调设置中，相似性、多样性与性能之间的关系明显减弱，因为模型微调降低了源数据特征的影响。
• 基于DTW的形状相似性未表现出与预测性能的显著相关性，表明其在预测迁移学习成功方面不如基于特征的度量信息丰富。
• 本研究支持现有实践：在迁移学习中选择相似或高度多样的源数据集，且基于特征的度量可提供可操作的数据选择标准。

(a) Sources Tsfresh