[论文解读] Timer: Generative Pre-trained Transformers Are Large Time Series Models

Yong Liu, Haoran Zhang+4 more|arXiv (Cornell University)|Feb 4, 2024

Time Series Analysis and Forecasting被引用 4

一句话总结

本文提出 Timer，一个在 10 亿个时间点上使用统一单序列序列（S3）格式预训练的大规模、仅解码器的 Transformer 模型，实现了时间序列预测、填补和异常检测任务中的少样本泛化。通过采用类似 GPT 的自回归目标，Timer 在极少微调的情况下实现了最先进性能，展示了在低数据场景下的强大可扩展性和任务通用性。

ABSTRACT

Deep learning has contributed remarkably to the advancement of time series analysis. Still, deep models can encounter performance bottlenecks in real-world data-scarce scenarios, which can be concealed due to the performance saturation with small models on current benchmarks. Meanwhile, large models have demonstrated great powers in these scenarios through large-scale pre-training. Continuous progress has been achieved with the emergence of large language models, exhibiting unprecedented abilities such as few-shot generalization, scalability, and task generality, which are however absent in small deep models. To change the status quo of training scenario-specific small models from scratch, this paper aims at the early development of large time series models (LTSM). During pre-training, we curate large-scale datasets with up to 1 billion time points, unify heterogeneous time series into single-series sequence (S3) format, and develop the GPT-style architecture toward LTSMs. To meet diverse application needs, we convert forecasting, imputation, and anomaly detection of time series into a unified generative task. The outcome of this study is a Time Series Transformer (Timer), which is generative pre-trained by next token prediction and adapted to various downstream tasks with promising capabilities as an LTSM. Code and datasets are available at: https://github.com/thuml/Large-Time-Series-Model.

研究动机与目标

• 通过开发具有强大少样本泛化能力的大时间序列模型（LTSM），解决小模型在数据稀缺时间序列场景下的性能瓶颈。
• 克服时间序列领域缺乏可扩展、统一的架构与预训练策略的问题，效仿大型语言模型的成功经验。
• 将多种时间序列任务——预测、填补、异常检测——统一为单一生成式建模范式，使用统一模型与训练目标。
• 建立一个大规模、多领域的数据集（UTSD），包含 10 亿个时间点，以支持稳健的预训练与可扩展性研究。
• 证明仅解码器的 Transformer 模型通过自回归下一个标记预测进行训练，可在时间序列分析中实现卓越的可扩展性与任务通用性。

提出的方法

• 从多样化领域精心构建了一个包含 10 亿个时间点的统一时间序列数据集（UTSD），支持可扩展的预训练。
• 提出单序列序列（S3）格式，将异构时间序列统一为标准化的标记序列格式。
• 设计一种通过自回归下一个标记预测进行训练的仅解码器 Transformer 架构，模拟 GPT 风格的预训练。
• 将预测、填补与异常检测统一为单一生成任务，支持零样本与少样本适应。
• 在预训练阶段应用以数据为中心的预训练策略，结合掩码与对比学习目标，随后在下游任务上进行微调。
• 通过扩大模型规模与预训练数据规模，验证模型的缩放规律，显示出一致的性能提升。

实验结果

研究问题

• RQ1 通过自回归生成方式对时间序列模型进行大规模预训练，是否能在低数据场景下实现强大的少样本泛化？
• RQ2 以 GPT 风格训练的仅解码器 Transformer 架构是否在时间序列任务中优于仅编码器模型？
• RQ3 统一的生成式框架能否有效使用单一模型处理预测、填补与异常检测等多样化时间序列任务？
• RQ4 模型规模与数据规模如何影响时间序列建模性能？该缩放规律是否适用于大规模时间序列模型？
• RQ5 标准化的 S3 格式能否统一异构时间序列数据，以支持可扩展的大规模预训练？

主要发现

• Timer 仅使用 5% 的训练数据，就在预测、填补与异常检测任务中实现了最先进性能，优于现有模型。
• 在 PEMS03 数据集上，使用 12G 预训练数据，仅使用 5% 的训练样本，Timer 将 MSE 从基线的 0.188 降低至 0.125，展现出强大的少样本泛化能力。
• 在 PEMS08 数据集上，使用 20% 的训练数据，Timer 相较于基线模型实现了 MSE 的 25% 相对提升，证明了其可扩展性。
• 仅解码器架构结合 GPT 风格预训练在低数据场景下表现优于仅编码器模型，尤其在数据稀缺时优势更明显。
• 将模型参数量从 4G 扩展至 12G，在 5% 数据下使 PEMS03 的 MSE 降低 30%，证实了时间序列模型中缩放规律的有效性。
• 可视化结果表明，Timer 能够准确生成填补的缺失值，预测未来的序列，以及通过生成分布外输出检测异常。