[论文解读] TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis

Haixu Wu, Tengge Hu+4 more|arXiv (Cornell University)|Oct 5, 2022

Time Series Analysis and Forecasting被引用 420

一句话总结

TimesNet 将基于学习到的周期把 1D 时间序列转换为多个 2D 张量，以在 2D 核上建模 内部周期 与 跨周期 的变化，并在预测、插补、分类和异常检测等任务上达到最先进的结果。它引入 TimesBlock 作为一个模块化、面向任务的骨干网络，能够自适应地学习多周期性。

ABSTRACT

Time series analysis is of immense importance in extensive applications, such as weather forecasting, anomaly detection, and action recognition. This paper focuses on temporal variation modeling, which is the common key problem of extensive analysis tasks. Previous methods attempt to accomplish this directly from the 1D time series, which is extremely challenging due to the intricate temporal patterns. Based on the observation of multi-periodicity in time series, we ravel out the complex temporal variations into the multiple intraperiod- and interperiod-variations. To tackle the limitations of 1D time series in representation capability, we extend the analysis of temporal variations into the 2D space by transforming the 1D time series into a set of 2D tensors based on multiple periods. This transformation can embed the intraperiod- and interperiod-variations into the columns and rows of the 2D tensors respectively, making the 2D-variations to be easily modeled by 2D kernels. Technically, we propose the TimesNet with TimesBlock as a task-general backbone for time series analysis. TimesBlock can discover the multi-periodicity adaptively and extract the complex temporal variations from transformed 2D tensors by a parameter-efficient inception block. Our proposed TimesNet achieves consistent state-of-the-art in five mainstream time series analysis tasks, including short- and long-term forecasting, imputation, classification, and anomaly detection. Code is available at this repository: https://github.com/thuml/TimesNet.

研究动机与目标

• 通过时间序列的多周期性推动对时间变化的建模。
• 提出将时间序列表示为 2D，以统一内部周期与跨周期的变异。
• 引入 TimesNet 和 TimesBlock 作为一个模块化、面向任务的骨干网络。
• 在预测、插补、分类和异常检测等方面展示最先进的性能。

提出的方法

• 通过基于 FFT 的频率幅值分析来估计多个周期，以识别前几位的频率及其对应的周期。
• 使用识别出的周期长度对 1D 时间序列进行 reshape，转换为多个 2D 张量，从而实现 2D 变异建模。
• 用一个共享的 inception 风格模块处理每个 2D 张量，以在 2D 空间捕捉多尺度的内部周期和跨周期变异。
• 使用受振幅导向的重要性启发的 softmax 加权融合，汇聚来自不同基于周期的 2D 视图的输出。
• 以残差方式堆叠 TimesBlocks，逐步细化表征。

实验结果

研究问题

• RQ1 是否可以利用多周期性将复杂的时序变化分解为内部周期与跨周期成分？
• RQ2 将 1D 时间序列转换为 2D 张量并应用 2D 核是否能提升多样化 TS 任务的表示学习？
• RQ3 TimesNet 是否是一个面向任务的通用骨干，能够在预测、插补、分类和异常检测等任务上达到最先进？
• RQ4 基于周期振幅的自适应聚合如何影响各任务的性能？

主要发现

• TimesNet 在五大主流时间序列分析任务上实现了一致的最先进性能。
• 一个模块化的 TimesBlock 可以发现多周期性，并通过一个参数高效的 inception 块提取时序 2D 变异。
• 将 1D 序列转换为 2D 张量使得使用 2D 核对内部周期与跨周期变异的建模成为可能。
• 用更强的 2D 主干替代 inception 块进一步提升了性能，验证了 2D 变异设计。
• TimesNet 作为时间序列分析的基础模型，显示出任务通用性。