[论文解读] Yformer: U-Net Inspired Transformer Architecture for Far Horizon Time Series Forecasting

Kiran Madhusudhanan, Johannes Burchert+3 more|arXiv (Cornell University)|Oct 13, 2021

Image and Signal Denoising Methods被引用 6

一句话总结

Yformer 提出了一种受 U-Net 启发的变压器架构，采用 Y 形编码器-解码器堆叠结构，集成稀疏注意力机制、从编码器到解码器的跳跃连接，以及辅助重建损失。在单变量和多变量远距离时间序列预测基准测试中，其性能达到最先进水平，平均 MSE 相较基线提升 19.82%，MAE 提升 18.41%。

ABSTRACT

Time series data is ubiquitous in research as well as in a wide variety of industrial applications. Effectively analyzing the available historical data and providing insights into the far future allows us to make effective decisions. Recent research has witnessed the superior performance of transformer-based architectures, especially in the regime of far horizon time series forecasting. However, the current state of the art sparse Transformer architectures fail to couple down- and upsampling procedures to produce outputs in a similar resolution as the input. We propose the Yformer model, based on a novel Y-shaped encoder-decoder architecture that (1) uses direct connection from the downscaled encoder layer to the corresponding upsampled decoder layer in a U-Net inspired architecture, (2) Combines the downscaling/upsampling with sparse attention to capture long-range effects, and (3) stabilizes the encoder-decoder stacks with the addition of an auxiliary reconstruction loss. Extensive experiments have been conducted with relevant baselines on four benchmark datasets, demonstrating an average improvement of 19.82, 18.41 percentage MSE and 13.62, 11.85 percentage MAE in comparison to the current state of the art for the univariate and the multivariate settings respectively.

研究动机与目标

• 解决稀疏变压器架构在长距离时间序列预测中缺乏分辨率保持机制的问题。
• 将 U-Net 跳跃连接中的多分辨率特征学习机制整合进基于变压器的编码器-解码器框架。
• 通过在历史目标上引入辅助重建损失，稳定训练过程并提升泛化能力。
• 通过在变压器架构中耦合下采样与上采样过程，实现高分辨率输出预测。
• 在单变量和多变量时间序列预测基准上，展示远距离预测的优越性能。

提出的方法

• 提出一种 Y 形编码器-解码器架构，直接将下采样后的编码器特征连接到对应上采样后的解码器层，受 U-Net 启发。
• 在每个尺度层级集成稀疏自注意力机制，以高效建模长程依赖关系，同时降低计算复杂度。
• 应用可学习的上采样与下采样操作，以在全网络中保持空间（时间）分辨率。
• 引入辅助重建损失，将预测的历史目标与真实值进行比较，以正则化模型，提升泛化能力。
• 采用多任务目标联合训练模型，同时优化未来目标预测与历史目标重建。
• 通过超参数调优，优化不同预测时域下的重建损失权重因子（α）。

实验结果

研究问题

• RQ1 在基于变压器的架构中，U-Net 风格的跳跃连接是否能提升长距离时间序列预测性能？
• RQ2 引入辅助重建损失如何影响模型在预测未来目标时的泛化能力与性能表现？
• RQ3 在稀疏变压器中耦合下采样与上采样过程，能在多大程度上提升时间序列预测中的分辨率保真度？
• RQ4 所提出的 Yformer 架构是否在单变量与多变量时间序列基准上均优于现有的稀疏变压器模型（如 Informer）？
• RQ5 重建损失的最优权重（α）在不同预测时域与数据集类型下如何变化？

主要发现

• 在所有时域下，Yformer 在单变量设置中相较基线模型实现了平均 19.82% 的 MSE 提升与 18.41% 的 MAE 提升。
• 在多变量设置中，Yformer 相较基线模型实现了 13.62% 的 MSE 提升与 11.85% 的 MAE 提升。
• 移除 U-Net 跳跃连接（Yformer*）导致性能显著下降，尤其在更长的预测时域下更为明显。
• 最优重建损失权重 α 在各时域中主要为 0.7，且在较短时域中偏好更高值，表明其正则化效果更显著。
• 重建损失可稳定训练过程并减少过拟合，尤其在短时域预测中，通过鼓励模型在历史目标分布上实现更好泛化。
• 消融研究证实，跳跃连接在长时域预测中最为有效，因为多分辨率特征融合对性能至关重要。