[论文解读] SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction

Minhao Liu, Ailing Zeng+5 more|arXiv (Cornell University)|Jun 17, 2021

Time Series Analysis and Forecasting参考文献 56被引用 245

一句话总结

SCINet 引入了层级下采样-卷积-交互架构（SCI-Block），用于建模时间序列预测的多分辨率时序动态，相较于 RNN、TCN 和 Transformer 基线，在多样数据集上实现了强劲表现。

ABSTRACT

One unique property of time series is that the temporal relations are largely preserved after downsampling into two sub-sequences. By taking advantage of this property, we propose a novel neural network architecture that conducts sample convolution and interaction for temporal modeling and forecasting, named SCINet. Specifically, SCINet is a recursive downsample-convolve-interact architecture. In each layer, we use multiple convolutional filters to extract distinct yet valuable temporal features from the downsampled sub-sequences or features. By combining these rich features aggregated from multiple resolutions, SCINet effectively models time series with complex temporal dynamics. Experimental results show that SCINet achieves significant forecasting accuracy improvements over both existing convolutional models and Transformer-based solutions across various real-world time series forecasting datasets. Our codes and data are available at https://github.com/cure-lab/SCINet.

研究动机与目标

• 通过利用下采样成两个子序列后，时序关系基本保留的特性来推动时间序列预测的研究。
• 提出一种新颖的编码-解码架构（SCINet），配备 SCI-Blocks，用以提取多分辨率的时序特征。
• 展示分层下采样-卷积-交互操作在真实世界数据集上提升预测精度。
• 使用排列熵分析所学习的表示，以评估可预测性的提升。

提出的方法

• 引入 SCI-Block，将输入分成偶/奇子序列，应用不同的卷积，并通过仿射变换的交互学习在子序列之间传递信息。
• 将 SCINet 构建为 SCI-Block 的二叉树，以捕捉多分辨率的时序依赖，并提供对序列的局部与全局视图。
• 可选地堆叠多个 SCINet，并引入中间监督（Stacked SCINet），以进一步提升预测性能。
• 使用残差连接将增强的表示添加回原始序列，并通过一个简单的全连接网络进行解码。
• 用多阶段的 L1 损失对堆叠模型进行训练，将所有 SCINet 的损失求和。

实验结果

研究问题

• RQ1 下采样-卷积-交互块是否比标准膨胀卷积更有效地捕捉复杂的时序动力学？
• RQ2 SCINet 的变体（单一、堆叠、带中间监督）是否在多样数据集上优于基于 RNN、TCN 和 Transformer 的时间序列预测模型？
• RQ3 在无需显式空间建模的情况下，SCINet 在短期、长期以及时空预测任务上的表现如何？
• RQ4 所学习的表示是否如排列熵所示比原始输入更具可预测性？

主要发现

• SCINet 在广泛的真实世界数据集上持续优于现有的 TSF 模型（包括 RNN/TCN/Transformer 基线）。
• 长期预测结果在许多场景中显示 SCINet 达到最先进的性能，在选定基准上有显著的平均提升。
• 在时空任务（如交通数据）中，SCINet 在不进行显式空间关系建模的情况下提供具有竞争力的预测准确性。
• 排列熵分析表明，SCINet 学到的增强表示比原始输入更不复杂且更具可预测性。
• 该架构在计算复杂度方面具有较优表现（最坏情况 O(T log T)），可与 TCN 相当，在许多情况下所需的深度可能更小（在多数情况下 L ≤ 5）。