[论文解读] TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting

Defu Cao, Furong Jia+5 more|arXiv (Cornell University)|Oct 8, 2023

Time Series Analysis and Forecasting被引用 35

一句话总结

TEMPO 引入提示微调、分解的趋势/季节性/时间序列表示，采用 GPT 骨干用于跨领域时间序列预测，在基准测试中显著优于SOTA。

ABSTRACT

The past decade has witnessed significant advances in time series modeling with deep learning. While achieving state-of-the-art results, the best-performing architectures vary highly across applications and domains. Meanwhile, for natural language processing, the Generative Pre-trained Transformer (GPT) has demonstrated impressive performance via training one general-purpose model across various textual datasets. It is intriguing to explore whether GPT-type architectures can be effective for time series, capturing the intrinsic dynamic attributes and leading to significant accuracy improvements. In this paper, we propose a novel framework, TEMPO, that can effectively learn time series representations. We focus on utilizing two essential inductive biases of the time series task for pre-trained models: (i) decomposition of the complex interaction between trend, seasonal and residual components; and (ii) introducing the design of prompts to facilitate distribution adaptation in different types of time series. TEMPO expands the capability for dynamically modeling real-world temporal phenomena from data within diverse domains. Our experiments demonstrate the superior performance of TEMPO over state-of-the-art methods on zero shot setting for a number of time series benchmark datasets. This performance gain is observed not only in scenarios involving previously unseen datasets but also in scenarios with multi-modal inputs. This compelling finding highlights TEMPO's potential to constitute a foundational model-building framework.

研究动机与目标

• 在时间序列预测中动机化采用类基础模型的方法，以提高跨领域和模态的泛化能力。
• 利用加法分解（趋势、季节性、残差）来引导表征学习并提升可解释性。
• 引入提示池以适应非平稳分布并促进跨时间序列任务的知识迁移。
• 在多个基准测试和未见域上展示更高的预测准确性，突出 TEMPO 作为时间序列潜在基础模型的潜力。

提出的方法

• 通过 STL 分解将输入时间序列分解为趋势、季节性和残差分量。
• 用时间序列标记表示每个分量并输入到基于 GPT 的骨干网络。
• 使用一个共享的可学习提示池，根据与输入的相似性检索前K个提示，从而实现自适应的知识回忆。
• 将分解后的分量预测按加法方式组合以形成最终预测。
• 对每个分量应用实例归一化，并使用 Low-Rank Adaptation (LoRA) 进行高效的领域适应。

实验结果

研究问题

• RQ1 在提供分解后的趋势、季节性和残差输入时，经过多样数据预训练的 GPT 风格变换器是否能够有效预测时间序列？
• RQ2 基于检索的提示池是否能提高对跨领域非平稳性与分布偏移的鲁棒性？
• RQ3 对时间序列进行分解并使用类似 GAM 的可解释性框架是否有助于理解趋势、季节性和残差在预测输出中的相互作用？
• RQ4 与现有基线相比，TEMPO 对未见域以及多模态/多变量输入的泛化能力如何？

主要发现

• TEMPO 在七个基准数据集上实现了长期预测、跨多个预测时段的超越最先进基线。
• 平均而言，TEMPO 相对于 PatchTST 及其他基线在 MAE 和 MSE 上取得显著改善，例如在 96 步时相比 PatchTST 的 MAE 提升最多 62.87%，在 192 步时提升 35.59%。
• TEMPO 展现出强大的跨域预训练收益，在未见数据集上的平均 MAE 提升约 30.8%。
• 一个新的多模态时间序列数据集 (TETS) 显示 TEMPO 在多模态输入上实现显著的 SMAPE 提升。
• 模型在未见域和少样本设置下保持稳健性能，表明其作为基础时间序列模型的潜力。