[论文解读] Understanding the Role of Textual Prompts in LLM for Time Series Forecasting: an Adapter View

Peisong Niu, Tian Zhou+3 more|arXiv (Cornell University)|Nov 24, 2023

Time Series Analysis and Forecasting被引用 5

一句话总结

本文提出了一种统一框架，利用冻结的预训练语言与视觉模型进行时间序列分析，并通过任务特定的适配器实现高效微调。该方法在预测、异常检测和 few-shot 学习任务中均达到最先进性能，同时理论上将自注意力机制与主成分分析（PCA）关联，解释了模型的通用性。

ABSTRACT

In the burgeoning domain of Large Language Models (LLMs), there is a growing interest in applying LLM to time series forecasting, with multiple studies focused on leveraging textual prompts to further enhance the predictive prowess. This study aims to understand how and why the integration of textual prompts into LLM can effectively improve the prediction accuracy of time series, which is not obvious at the glance, given the significant domain gap between texts and time series. Our extensive examination leads us to believe that (a) adding text prompts is roughly equivalent to introducing additional adapters, and (b) It is the introduction of learnable parameters rather than textual information that aligns the LLM with the time series forecasting task, ultimately enhancing prediction accuracy. Inspired by this discovery, we developed four adapters that explicitly address the gap between LLM and time series, and further improve the prediction accuracy. Overall,our work highlights how textual prompts enhance LLM accuracy in time series forecasting and suggests new avenues for continually improving LLM-based time series analysis.

研究动机与目标

• 开发一种统一且参数高效的框架，用于利用自然语言处理（NLP）和计算机视觉（CV）领域的预训练模型处理多样化的时间序列任务。
• 通过利用具有数十亿参数的预训练模型，克服时间序列分析中的数据稀缺问题。
• 设计专用适配器，显著提升模型在预测和异常检测等关键任务上的性能。
• 通过理论与实证分析，揭示自注意力机制与主成分分析（PCA）之间的联系，解释 Transformer 模型在跨领域任务中的通用性。
• 证明单一冻结的预训练主干网络可在多种时间序列任务中超越专用模型的性能表现。

提出的方法

• 冻结预训练语言或视觉 Transformer 主干网络的权重，并使用投影矩阵对输入和输出嵌入进行适配，以处理时间序列数据。
• 引入四种任务特定的适配器——预测、异常检测、分类和插补——仅微调其中一小部分参数。
• 应用高效的参数调优技术（如低秩适应，LoRA），在最小化计算成本的同时最大化性能提升。
• 理论分析表明，在特定条件下，自注意力机制通过最小化梯度范数，可近似主成分分析（PCA）。
• 实证验证对比了自注意力与 PCA 在标记相似性与性能表现上的行为，显示出强烈的相似性。
• 使用来自 BERT（NLP）和 ViT（CV）的预训练模型，证实了跨模态与主干网络之间的可迁移性。

实验结果

研究问题

• RQ1 当冻结时，预训练语言或视觉模型是否能在不改变任务特定架构的前提下，实现时间序列预测与异常检测的强性能？
• RQ2 专用适配器如何提升冻结预训练模型在下游时间序列任务中的性能？
• RQ3 自注意力机制与主成分分析（PCA）之间存在何种理论联系？
• RQ4 为何单一预训练 Transformer 主干网络在存在领域差异的情况下，仍能泛化于多样化的时间序列任务？
• RQ5 来自自然语言处理与计算机视觉的跨模态知识迁移在多大程度上可提升时间序列分析性能？

主要发现

• 冻结的预训练 Transformer（FPT）在所有评估的时间序列任务中均达到最先进或具有竞争力的性能，包括预测、异常检测、分类和 few-shot 学习。
• 所提出的任务特定适配器显著提升了 FPT 单独使用时的性能，在预测与异常检测任务中全面超越现有最先进方法。
• 实证结果表明，用 PCA 替代自注意力机制可保留标记相似性模式，并维持相近的性能表现，表明两者具有强烈的行为相似性。
• 理论分析证明，自注意力机制在梯度最小化条件下，其学习功能等价于 PCA，且最优注意力矩阵与输入协方差矩阵的前导特征向量对齐。
• 该框架具备跨模态泛化能力：同一预训练主干（如 BERT 或 ViT）在应用于时间序列任务时均表现出色，证实了跨模态迁移的有效性。
• 尽管性能优异，部分数据集上的零样本预测仍落后于 N-BEATS 等专用模型，表明在零样本泛化方面仍有改进空间。