[论文解读] Self-Supervised Contrastive Learning for Long-term Forecasting

Junwoo Park, Daehoon Gwak+2 more|arXiv (Cornell University)|Feb 3, 2024

Forecasting Techniques and Applications被引用 4

一句话总结

该论文提出了一种用于长期时间序列预测的自监督对比学习框架，能够显式捕捉超出传统滑动窗口范围的长期时间依赖关系。通过利用全局自相关性在远距离窗口之间构建正负样本对，并将其与重新设计的分解架构相结合，该方法显著提升了预测精度，在九个长期预测基准上超越了14种基线模型，尤其在需要长时序预测的场景中表现突出。

ABSTRACT

Long-term forecasting presents unique challenges due to the time and memory complexity of handling long sequences. Existing methods, which rely on sliding windows to process long sequences, struggle to effectively capture long-term variations that are partially caught within the short window (i.e., outer-window variations). In this paper, we introduce a novel approach that overcomes this limitation by employing contrastive learning and enhanced decomposition architecture, specifically designed to focus on long-term variations. To this end, our contrastive loss incorporates global autocorrelation held in the whole time series, which facilitates the construction of positive and negative pairs in a self-supervised manner. When combined with our decomposition networks, our contrastive learning significantly improves long-term forecasting performance. Extensive experiments demonstrate that our approach outperforms 14 baseline models in multiple experiments over nine long-term benchmarks, especially in challenging scenarios that require a significantly long output for forecasting. Source code is available at https://github.com/junwoopark92/Self-Supervised-Contrastive-Forecsating.

研究动机与目标

• 解决现有基于滑动窗口的模型在捕捉跨越单个窗口范围的长期时间变化方面的局限性。
• 克服标准模型在学习远距离但相似的时间窗口之间周期性或长程相关性时的失败问题。
• 设计一种对比学习目标，利用整个时间序列的全局自相关性，从时间序列中形成有意义的正负样本对。
• 通过赋予足够的容量，增强基于分解模型的长期分支，使其能够从所提出的对比损失中学习。
• 在保持与归一化技术兼容的同时，确保模型能够保留具有数值重要性的长期趋势。

提出的方法

• 提出一种自监督对比损失，利用完整时间序列的全局自相关性，从时间上相距较远但相关的窗口中构建正样本对。
• 将对比损失专门应用于基于分解模型的长期分支，该分支经过重新设计，其容量高于标准的线性层。
• 采用双分支架构：短期分支用于捕捉局部模式，长期分支用于捕捉全局、周期性或趋势性成分。
• 采用对比学习目标，促使嵌入空间中相同样长期模式（如年度周期）的表示即使在窗口相距较远时也保持接近。
• 在窗口级别应用归一化，同时确保关键的长期数值（如最大值/最小值）得以保留，以实现准确预测。
• 通过在包含来自不同时间位置窗口的小批量数据上端到端训练模型，使模型能够学习长程依赖关系。

Figure 1: Long-term variations span beyond the conventional window. There are non-zero correlations (Left Y axis) with longer lags, and Fourier components (Right Y axis) with longer periods than the window size.

实验结果

研究问题

• RQ1 能否通过利用远距离窗口之间的全局自相关性，有效将对比学习应用于长期时间序列预测？
• RQ2 与基于窗口局部学习的方法相比，使用完整时间序列形成正样本对的对比损失是否能显著提升长期预测性能？
• RQ3 在分解模型中重新设计的长期分支是否能有效学习对比信号，同时保持长期趋势？
• RQ4 在长预测长度设置下，该方法与最先进模型相比表现如何，特别是在长时序预测场景中？
• RQ5 该模型是否能在使用标准归一化技术的同时，不丢失长期预测信号？

主要发现

• 所提方法在九个长期预测基准上达到最先进性能，在所有设置下均超越14种基线模型。
• 在ECL数据集上，2160步预测时延下，模型的均方误差为0.261 ± 0.0078，显著低于PatchTST（0.332）和TimesNet（0.417）。
• 模型展现出优越的表征学习能力，表现为远距离但相关窗口（如年度周期）之间的余弦相似度更高，而现有模型则将其视为不相似。
• 在Weather数据集上，1440步预测时延下，模型的MAE为0.867 ± 0.0272，优于所有基线模型，包括PatchTST和TimesNet。
• 该方法在多种数据集（如Electricity、Exchange和ILI）上均表现出鲁棒性，长期预测性能持续提升。
• 可视化结果证实，该模型能够学习长期周期性模式（如年度周期），而基线模型在其表征中未能捕捉此类相关性。

Figure 2: (Top) Electricity time series including a long-term variation beyond window size. (Bottom) Plotted representation similarities of four models between an anchor window $\mathcal{W}_{2}$ and all other windows including $\mathcal{W}_{1}$ and $\mathcal{W}_{3}$ . To clearly highlight long-term