[论文解读] PETformer: Long-term Time Series Forecasting via Placeholder-enhanced Transformer

Shengsheng Lin, Weiwei Lin+3 more|arXiv (Cornell University)|Aug 9, 2023

Time Series Analysis and Forecasting被引用 4

一句话总结

PETformer 提出了一种基于 Transformer 的新型模型，用于长期时间序列预测（LTSF），采用占位符增强技术（PET），通过直接建模历史与未来的时间关系，提升了计算效率和预测准确性。该模型在八个公开数据集上实现了最先进性能，通过长子序列划分和多通道分离与交互等创新方法实现超越现有模型的表现。

ABSTRACT

Recently, the superiority of Transformer for long-term time series forecasting (LTSF) tasks has been challenged, particularly since recent work has shown that simple models can outperform numerous Transformer-based approaches. This suggests that a notable gap remains in fully leveraging the potential of Transformer in LTSF tasks. Consequently, this study investigates key issues when applying Transformer to LTSF, encompassing aspects of temporal continuity, information density, and multi-channel relationships. We introduce the Placeholder-enhanced Technique (PET) to enhance the computational efficiency and predictive accuracy of Transformer in LTSF tasks. Furthermore, we delve into the impact of larger patch strategies and channel interaction strategies on Transformer's performance, specifically Long Sub-sequence Division (LSD) and Multi-channel Separation and Interaction (MSI). These strategies collectively constitute a novel model termed PETformer. Extensive experiments have demonstrated that PETformer achieves state-of-the-art performance on eight commonly used public datasets for LTSF, surpassing all existing models. The insights and enhancement methodologies presented in this paper serve as valuable reference points and sources of inspiration for future research endeavors.

研究动机与目标

• 为解决现有 Transformer 模型在长期时间序列预测（LTSF）中的局限性，特别是时间连续性建模、信息密度和多通道关系建模方面的不足。
• 克服标准 Transformer 在 LTSF 中因编码器-解码器注意力机制和展平层导致的效率低下与性能下降问题。
• 探究更大图像块策略和通道交互机制对多变量时间序列预测中 Transformer 性能的影响。
• 开发一种统一、高效且准确的架构，使其在 LTSF 任务中超越现有最先进模型。
• 为未来基于 Transformer 的时间序列建模研究提供可操作的洞见与设计原则。

提出的方法

• 提出占位符增强技术（PET），其中占位符代表待预测的未来时间片段，使单个仅编码器架构能够直接建模历史与未来的时间关系。
• 在 PET 中采用逐标记预测器，相比基于展平的方法，将预测头参数减少超过 99%，显著提升计算效率。
• 应用长子序列划分（LSD），一种更大的图像块策略，通过将更长的时间段作为单个标记处理，提升语义信息提取能力。
• 提出多通道分离与交互（MSI），一种两阶段通道建模方法：首先独立提取通道内特征，再建模通道间关系，性能优于直接通道混合。
• 将 PET、LSD 和 MSI 整合为统一模型 PETformer，采用仅编码器的 Transformer 主干网络，增强特征表示并减少参数开销。
• 采用通道独立策略作为强基线，仅在经验分析显示有益时应用 MSI，基于通道复杂度的实证分析。

实验结果

研究问题

• RQ1 如何优化 Transformer 架构以提升长期时间序列预测的准确率与计算效率？
• RQ2 编码器-解码器注意力机制对 LTSF 性能有何影响？能否被更有效的替代方案取代？
• RQ3 更大的图像块策略（如长子序列划分）如何影响多变量时间序列中时间语义的表征？
• RQ4 在多变量时间序列中，建模通道间关系的最优策略是什么——直接混合、独立处理，还是分阶段的分离与交互？
• RQ5 能否通过结合基于占位符的建模、大图像块与结构化通道交互的统一架构，在 LTSF 中实现最先进性能？

主要发现

• PETformer 在八个公开 LTSF 数据集上达到最先进性能，超越所有现有模型，包括 Dlinear、PatchTST 及其他 SOTA Transformer 基础方法。
• PET 中的逐标记预测器相比展平架构，将预测头参数数量减少超过 99%，显著提升计算效率。
• 采用更大图像块的长子序列划分（LSD）通过捕捉更丰富的时序语义，提升性能，优于标准图像块划分策略。
• MSI 通过将通道内特征学习与通道间交互分离，显著优于直接通道混合（DCM），后者会破坏时间依赖性。
• 通道独立策略（NCI）依然非常有效，尤其在通道数量较多的数据集（如 Traffic，含 862 个变量）中，复杂通道关系难以建模时表现更优。
• 消融实验确认，PET、LSD 和 MSI 的组合对最优性能至关重要，各组件均对最终结果有显著贡献。