[论文解读] Position: What Can Large Language Models Tell Us about Time Series Analysis

Ming Jin, Yifan Zhang+7 more|arXiv (Cornell University)|Feb 5, 2024

Advanced Text Analysis Techniques被引用 6

一句话总结

这篇立场论文认为大型语言模型（LLMs）可以作为时间序列分析的核心枢纽，充当数据/模型增强器、预测器和代理，并概述整合策略和研究方向。

ABSTRACT

Time series analysis is essential for comprehending the complexities inherent in various realworld systems and applications. Although large language models (LLMs) have recently made significant strides, the development of artificial general intelligence (AGI) equipped with time series analysis capabilities remains in its nascent phase. Most existing time series models heavily rely on domain knowledge and extensive model tuning, predominantly focusing on prediction tasks. In this paper, we argue that current LLMs have the potential to revolutionize time series analysis, thereby promoting efficient decision-making and advancing towards a more universal form of time series analytical intelligence. Such advancement could unlock a wide range of possibilities, including time series modality switching and question answering. We encourage researchers and practitioners to recognize the potential of LLMs in advancing time series analysis and emphasize the need for trust in these related efforts. Furthermore, we detail the seamless integration of time series analysis with existing LLM technologies and outline promising avenues for future research.

研究动机与目标

• 阐明 LLMs 在革新时间序列分析和促进普遍智能系统方面的潜力。
• 系统性回顾现有工作并将 LLM 与时间序列分析的整合形式进行分类。
• 为以 LLM 为核心的时间序列研究提出未来机会、挑战与研究方向。

提出的方法

• 将时间序列任务和 LLM 整合分类为基于数据的增强器、基于模型的增强器，以及以 LLM 为中心的预测器。
• 描述通过补丁、分词和提示，对 LLM 进行微调为主和非微调为主的两类方式，将 LLM 适配到时间序列数据。
• 讨论基于代理的 LLM 在通用时间序列分析中的应用，并报告来自零-shot 实验的实证洞见。

Figure 1: Across a myriad of time series analytical domains, the integration of time series and LLMs demonstrates potential in solving complex real-world problems.

实验结果

研究问题

• RQ1 LLMs 能否作为有效的增强器、预测器和代理来进行时间序列分析？
• RQ2 将 LLM 与时间序列模型结合的主要整合形式和方法是什么？
• RQ3 让以 LLM 为核心的时间序列分析可靠且可扩展将带来哪些挑战和机遇？

主要发现

• LLMs 有潜力通过外部知识和推理来增强时间序列数据和模型。
• LLMs 可以作为零-shot 或少量-shot 的时间序列任务预测器，在某些情境下有时优于领域特定模型。
• 基于微调的 LLM 预测器具有适应性，但存在灾难性遗忘和高训练成本的风险，而非微调的方法依赖提示工程并面临稳定性问题。
• LLMs 可以作为时间序列代理，但幻觉和分布理解仍是主要局限性，需要整合领域知识与健壮的提示。

Figure 2: A roadmap of time series analysis delineating four generations of models based on their task-solving capabilities.