[论文解读] PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting

Hao Xue, Flora D. Salim|arXiv (Cornell University)|Sep 20, 2022

Stock Market Forecasting Methods被引用 11

一句话总结

本文提出 PromptCast，一种新颖的基于提示的学习范式，将时间序列预测问题转化为自然语言生成任务，将数值序列转化为描述性提示输入预训练语言模型。该方法实现了强大的零样本泛化能力，并在新构建的大规模数据集（PISA）和多样化预测场景的基准测试中，超越了传统数值方法。

ABSTRACT

This paper presents a new perspective on time series forecasting. In existing time series forecasting methods, the models take a sequence of numerical values as input and yield numerical values as output. The existing SOTA models are largely based on the Transformer architecture, modified with multiple encoding mechanisms to incorporate the context and semantics around the historical data. Inspired by the successes of pre-trained language foundation models, we pose a question about whether these models can also be adapted to solve time-series forecasting. Thus, we propose a new forecasting paradigm: prompt-based time series forecasting (PromptCast). In this novel task, the numerical input and output are transformed into prompts and the forecasting task is framed in a sentence-to-sentence manner, making it possible to directly apply language models for forecasting purposes. To support and facilitate the research of this task, we also present a large-scale dataset (PISA) that includes three real-world forecasting scenarios. We evaluate different SOTA numerical-based forecasting methods and language generation models. The benchmark results with various forecasting settings demonstrate the proposed PromptCast with language generation models is a promising research direction. Additionally, in comparison to conventional numerical-based forecasting, PromptCast shows a much better generalization ability under the zero-shot setting.

研究动机与目标

• 探索大规模预训练语言基础模型是否可在不修改网络结构的前提下，用于时间序列预测。
• 解决现有方法仅依赖数值输入/输出且模型设计复杂的缺陷。
• 提出一种新范式——PromptCast，将预测任务视为句子到句子的生成任务。
• 发布一个大规模、真实世界的时间序列数据集（PISA），涵盖天气、能源和客流预测，用于基于提示的时间序列预测任务。
• 建立一个基准测试框架，用于在零样本和多步预测等多种设置下，评估数值预测模型与语言生成模型的性能。

提出的方法

• 使用固定模板将数值时间序列转换为自然语言提示，将序列转化为描述性语句。
• 将时间序列预测建模为文本生成任务，其中输入为上下文提示，输出为以自然语言表达的未来预测值。
• 在推理阶段直接使用预训练语言模型（如 LLaMA、OPT）而无需微调，实现零样本预测。
• 设计包含历史数值、时间上下文（如日期、星期）以及辅助信息（如地理位置、天气状况）的提示模板。
• 构建 PISA 数据集，包含 311,932 个实例，覆盖三种真实世界预测场景：气温、用电量和客流。
• 开发一个基准测试框架，用于评估在从头训练、零样本、多步预测和多变量预测等多种设置下的性能表现。

实验结果

研究问题

• RQ1 当使用自然语言描述数值序列作为提示时，预训练语言模型是否能有效执行时间序列预测？
• RQ2 在零样本设置下，基于提示的预测方法与传统基于数值的预测模型相比，泛化性能如何？
• RQ3 语言模型在基于提示的输入下，能在多大程度上捕捉时间模式和数值语义？
• RQ4 统一的基于提示的范式是否可在无需针对特定任务重新设计模型的前提下，支持多样化的时间序列预测场景？
• RQ5 基于模板的提示方法在时间序列预测中存在哪些局限性，以及可能的改进方向是什么？

主要发现

• 使用语言生成模型的 PromptCast 实现了出色的预测性能，证明了预训练语言模型在时间序列任务中的可行性。
• 所提出的范式相比传统基于数值的预测模型，展现出显著更强的零样本泛化能力。
• 案例研究证实，语言模型中的注意力机制在预测过程中能有效关注数值 token 和辅助上下文 token。
• 基准测试结果验证了语言模型在多样化时间序列场景中的泛化能力，包括单变量和多变量设置。
• PISA 数据集为真实世界预测任务提供了统一的评估基准，支持未来在基于提示的时间序列预测研究。
• 该方法为聊天机器人预测和时间序列问答系统等新应用场景开辟了可行路径。