[论文解读] Revisiting Long-term Time Series Forecasting: An Investigation on Linear Mapping

Zhe Li, Shiyi Qi+2 more|arXiv (Cornell University)|May 18, 2023

Time Series Analysis and Forecasting被引用 36

一句话总结

论文认为线性映射在长期时间序列预测中具有核心地位，在 RevIN 和通道无关处理的帮助下，分析线性模型如何捕捉周期性以及如何处理多通道季节性。

ABSTRACT

Long-term time series forecasting has gained significant attention in recent years. While there are various specialized designs for capturing temporal dependency, previous studies have demonstrated that a single linear layer can achieve competitive forecasting performance compared to other complex architectures. In this paper, we thoroughly investigate the intrinsic effectiveness of recent approaches and make three key observations: 1) linear mapping is critical to prior long-term time series forecasting efforts; 2) RevIN (reversible normalization) and CI (Channel Independent) play a vital role in improving overall forecasting performance; and 3) linear mapping can effectively capture periodic features in time series and has robustness for different periods across channels when increasing the input horizon. We provide theoretical and experimental explanations to support our findings and also discuss the limitations and future works. Our framework's code is available at \url{https://github.com/plumprc/RTSF}.

研究动机与目标

• 评估时序特征提取器在长期预测中的有效性，并确定它们在超越线性映射方面的真实贡献。
• 在理论和经验上分析线性映射如何捕捉时间序列中的周期性。
• 识别线性模型在具有不同通道周期性的多变量设置中的局限性，并提出公平的基线和对策。

提出的方法

• 在 RevIN + 线性投影框架内评估各种时序特征提取器（注意力、MLP、卷积），在真实数据和模拟数据上与线性基线进行比较。
• 给出分析结果，表明在某些条件下，一个单层线性网络可以解决季节性模式。
• 提出并分析基线（RLinear、RevIN）及通道独立（CI）变体，以隔离线性映射和归一化的影响。
• 从理论上推导线性映射在季节性/多通道数据中预测未来点的条件（定理 1–3）。
• 使用带有多个预测步的模拟实验和六个真实世界数据集（ETT、Weather、ECL）来基准性能。

实验结果

研究问题

• RQ1 时序特征提取器对于长期预测是否真的有益，还是在进行适当归一化后线性映射就足以？
• RQ2 线性映射如何学习并表示时间序列的周期性，在何种条件下会失败，尤其是在多通道情形下？
• RQ3 当通道具有不同周期性时，线性模型的局限性是什么，通道独立建模或非线性单元是否能缓解这些局限？
• RQ4 RevIN 和 CI 在使用线性映射时改善预测性能方面起什么作用？
• RQ5 输入时域如何影响线性模型对多变量时间序列的预测能力？

主要发现

• RevIN 能显著提升预测准确性，使简单的线性层能够超越一些最先进的基线。
• 线性映射可以学习周期性模式，在某些假设下，给出足够的历史信息时可以准确预测季节性分量。
• 通道独立（CI）建模在通道具有不同周期时有帮助，尽管计算成本较高；单层线性网络在面对多周期时可能表现不佳。
• 增加输入时域可以提升线性模型在具有不同周期的多变量数据上的表现，但存在一个受数据周期性限制的上限。
• 在具有大量通道的真实数据集（Weather、ECL）上，RLinear并不总是更优，这表明在高通道数量设置下，简单线性映射的鲁棒性存在限制。