[论文解读] Revitalizing Multivariate Time Series Forecasting: Learnable Decomposition with Inter-Series Dependencies and Intra-Series Variations Modeling

Guoqi Yu, Jing Zou+4 more|arXiv (Cornell University)|Feb 20, 2024

Time Series Analysis and Forecasting被引用 7

一句话总结

本文提出 Leddam，一种可学习的分解+双注意力模块，在多变量时间序列中联合建模序列间依赖与序列内变化，在八个数据集上达到最先进的结果，并在接入其他模型时实现显著的性能提升。

ABSTRACT

Predicting multivariate time series is crucial, demanding precise modeling of intricate patterns, including inter-series dependencies and intra-series variations. Distinctive trend characteristics in each time series pose challenges, and existing methods, relying on basic moving average kernels, may struggle with the non-linear structure and complex trends in real-world data. Given that, we introduce a learnable decomposition strategy to capture dynamic trend information more reasonably. Additionally, we propose a dual attention module tailored to capture inter-series dependencies and intra-series variations simultaneously for better time series forecasting, which is implemented by channel-wise self-attention and autoregressive self-attention. To evaluate the effectiveness of our method, we conducted experiments across eight open-source datasets and compared it with the state-of-the-art methods. Through the comparison results, our Leddam (LEarnable Decomposition and Dual Attention Module) not only demonstrates significant advancements in predictive performance, but also the proposed decomposition strategy can be plugged into other methods with a large performance-boosting, from 11.87% to 48.56% MSE error degradation.

研究动机与目标

• 通过解决序列间依赖和序列内变化来推动鲁棒的多变量时间序列预测。
• 提出一个可学习的分解，以捕捉超越简单移动平均线的动态趋势信息。
• 设计一个结合通道维自注意力和自回归自注意力的双重注意力模块。
• 在八个真实世界数据集上展示明确的性能提升，并展示分解组件的通用性。
• 证明所提出的分解能够显著提升其他预测模型的性能。

提出的方法

• 引入一个使用高斯分布初始化的可学习一维卷积分解核，用于将趋势部分与季节部分分离。
• 使用一个双重注意力模块：(i) 通道维自注意力，通过 Whole Series Embedding 建模序列间依赖；(ii) 自回归自注意力，通过 Auto-regressive Embedding 建模序列内变化。
• 对输入进行位置编码嵌入，分解为 X_Trend 和 X_Seasonal，并对其进行投影以获得最终预测，其中 Y_hat = X_S_out + X_T_out。
• 通过对季节令牌的 Transformer 编码器建模序列间依赖；通过以季节令牌作为 K/V、原始季节令牌作为 Q 的自回归 Token-based Transformer 来建模序列内变化。
• 证明一个可学习的一维卷积分解核在高斯初始化下始终优于移动平均核，并且可学习性进一步提升性能（LD_TL 相对 LD_UTL）。
• 在八个数据集上使用 MSE/MAE 指标进行评估，并与八个 SOTA 基线进行比较。

实验结果

研究问题

• RQ1 如何学习一个可分解的多变量时间序列，以更好地暴露动态趋势信息？
• RQ2 如何同时建模序列间依赖和序列内变化，以提升预测准确性？
• RQ3 当接入其他预测模型时，可学习的分解组件是否具有泛化能力？
• RQ4 对于序列间建模的通道维自注意力与序列内建模的自回归注意力机制，各自的影响有多大？
• RQ5 在多样化真实世界数据集上，所提 Components 在多大程度上提升性能？

主要发现

• 相较于八个最先进基线，Leddam 在大多数数据集上呈现更优的预测性能，Traffic 数据集为例外，iTransformer 获胜。
• 双注意力设计（通道维度的序列间依赖与自回归的序列内变化）在五个数据集上单独消融时均能显著降低 MSE，组合使用时效果更明显。
• 可学习的一维卷积分解核在高斯初始化下始终优于移动平均核，且可学习性进一步提升性能（LD_TL 相对于 LD_UTL）。
• 将可学习分解融入其他模型后带来显著提升，例如 LightTS、LSTM、SCINet、Informer 以及 Transformer 均显示改进，对某些模型（如在某些 ET 数据集上 LSTM 的 MSE 提升可达约 80%）呈现特别大的提升。
• 自回归自注意力和通道维自注意力各自贡献显著，联合使用时获得更大的提升（平均 MSE 达到显著下降）。