[论文解读] Respecting Time Series Properties Makes Deep Time Series Forecasting Perfect

Li Shen, Yuning Wei+1 more|arXiv (Cornell University)|Jul 22, 2022

Time Series Analysis and Forecasting被引用 6

一句话总结

本文提出RTNet，一种新颖的深度时间序列预测网络，通过重新思考归一化、多变量预测和输入序列长度，尊重时间序列的固有属性——如非平稳性、因果性和变量无关性。RTNet通过解耦时间嵌入并施加基于时间序列理论的结构约束，在三个基准数据集上实现了最先进性能，同时复杂度更低、精度更高。

ABSTRACT

How to handle time features shall be the core question of any time series forecasting model. Ironically, it is often ignored or misunderstood by deep-learning based models, even those baselines which are state-of-the-art. This behavior makes their inefficient, untenable and unstable. In this paper, we rigorously analyze three prevalent but deficient/unfounded deep time series forecasting mechanisms or methods from the view of time series properties, including normalization methods, multivariate forecasting and input sequence length. Corresponding corollaries and solutions are given on both empirical and theoretical basis. We thereby propose a novel time series forecasting network, i.e. RTNet, on the basis of aforementioned analysis. It is general enough to be combined with both supervised and self-supervised forecasting format. Thanks to the core idea of respecting time series properties, no matter in which forecasting format, RTNet shows obviously superior forecasting performances compared with dozens of other SOTA time series forecasting baselines in three real-world benchmark datasets. By and large, it even occupies less time complexity and memory usage while acquiring better forecasting accuracy. The source code is available at https://github.com/OrigamiSL/RTNet.

研究动机与目标

• 识别并纠正深度时间序列预测模型中忽略核心时间序列属性（如非平稳性、因果性和变量无关性）的根本缺陷。
• 解决在时间序列场景中滥用归一化技术（如批量归一化）的问题，因其违反尺度不变性并引入不稳定性。
• 开发一种通用时间序列预测网络，适用于监督学习与自监督学习两种范式，并尊重时间序列属性。
• 通过实证验证基于时间序列属性推导出的理论推论，确保在多样化真实世界数据集上的鲁棒性与泛化能力。

提出的方法

• 提出RTNet，一种基于Transformer的架构，将时间嵌入与输入特征解耦，以避免在时间嵌入无关的数据集中产生虚假相关性。
• 引入一种新型对比学习框架，采用两阶段训练流程：首先在增强序列上进行共享表示的预训练，然后通过自回归预测进行微调。
• 采用金字塔网络结构，通过多个RTBlocks建模分层时间依赖关系，其中每个模块使用因果卷积和可学习余弦相似度矩阵来建模变量相关性。
• 对余弦相似度矩阵施加阈值（角度阈值θ），以抑制弱相关或无关的变量交互，提升模型鲁棒性与可解释性。
• 采用动态输入序列重叠机制，由α控制，其中α=4为端到端训练的最优值，α=2为对比学习的最优值，以平衡上下文信息与计算成本。
• 采用混合归一化策略：由于批量归一化违反时间序列的尺度不变性，故避免使用，转而优先采用层归一化或在特定场景下不使用归一化。

实验结果

研究问题

• RQ1 为何标准归一化方法（如批量归一化）在时间序列预测中会失效？其理论与实证后果是什么？
• RQ2 当时间序列变量与时间无关时，将时间嵌入包含在输入序列中会对预测性能产生何种影响？
• RQ3 在不同训练格式（端到端训练 vs. 对比学习）下，最优输入序列长度与重叠策略（由α控制）是什么？
• RQ4 如何通过可学习余弦相似度矩阵结合阈值化，提升多变量时间序列预测中变量相关性的建模能力？
• RQ5 将时间嵌入与输入特征解耦在多大程度上能提升在多样化时间序列数据集上的泛化能力与鲁棒性？

主要发现

• RTNet在三个真实世界基准数据集（ETTh1、ETTh2、WTH、ECL）上优于数十个SOTA基线模型，实现了最先进精度，同时时间与内存复杂度更低。
• 在ETT数据集中，当变量与时间嵌入无关时，解耦时间嵌入显著提升性能，尤其在端到端训练下，优于将时间特征嵌入的模型。
• 端到端训练的最优重叠度α为4，对比学习的最优α为2，表明超参数选择具有格式依赖性。
• 将余弦相似度矩阵的阈值设为30°可提升预测性能，通过抑制弱相关变量交互；而θ ≥ 60°会导致性能下降。
• 在WTH数据集中，RTNet采用解耦时间嵌入的版本与嵌入时间特征的模型相比，达到相当或更优结果，验证了方法的鲁棒性。
• 消融实验表明，RTNet在ECL数据集上的性能不依赖于时间嵌入，验证了理论分析：当变量与时间无关时，时间嵌入并非必要。