[论文解读] NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting

Kai Chen, Guang Chen+4 more|arXiv (Cornell University)|Feb 10, 2021

Time Series Analysis and Forecasting参考文献 31被引用 22

一句话总结

本文提出 NAST，一种用于时间序列预测的非自回归时空 Transformer 模型，通过消除自回归解码避免了累积误差。通过引入一个可学习的时间影响图，该模型将空间与时间注意力相结合，在未来定位的自中心数据集上实现了最先进的性能，兼具高精度与实时推理能力。

ABSTRACT

Although Transformer has made breakthrough success in widespread domains especially in Natural Language Processing (NLP), applying it to time series forecasting is still a great challenge. In time series forecasting, the autoregressive decoding of canonical Transformer models could introduce huge accumulative errors inevitably. Besides, utilizing Transformer to deal with spatial-temporal dependencies in the problem still faces tough difficulties.~To tackle these limitations, this work is the first attempt to propose a Non-Autoregressive Transformer architecture for time series forecasting, aiming at overcoming the time delay and accumulative error issues in the canonical Transformer. Moreover, we present a novel spatial-temporal attention mechanism, building a bridge by a learned temporal influence map to fill the gaps between the spatial and temporal attention, so that spatial and temporal dependencies can be processed integrally. Empirically, we evaluate our model on diversified ego-centric future localization datasets and demonstrate state-of-the-art performance on both real-time and accuracy.

研究动机与目标

• 解决自回归 Transformer 在时间序列预测中固有的时间延迟与累积误差问题。
• 通过可学习机制整合空间与时间依赖性，弥合序列数据中空间与时间依赖之间的差距。
• 设计一种非自回归架构，实现实时推理速度的同时保持高预测精度。
• 在多样化的自中心未来定位数据集上评估模型，以证明其鲁棒性与最先进的性能表现。

提出的方法

• 提出一种非自回归 Transformer 解码器，以消除序列化预测，从而避免推理过程中的误差累积。
• 引入一种新颖的时空注意力机制，利用可学习的时间影响图动态连接空间与时间表征。
• 时间影响图学习时间特征如何影响空间注意力，从而实现对空间与时间依赖性的联合建模。
• 采用多头注意力机制，其中查询并行生成，键值对则来自空间与时间编码的联合表示。
• 采用基于蒸馏的目标函数进行模型训练，以引导非自回归预测逼近真实序列。
• 在非自回归设置中应用位置编码，以保持时间顺序，确保预测结果的时间一致性。

实验结果

研究问题

• RQ1 与自回归模型相比，非自回归 Transformer 架构是否能有效减少时间序列预测中的误差累积？
• RQ2 可学习的时间影响图在整合空间与时间注意力以建模时空依赖性方面表现如何？
• RQ3 所提出的 NAST 模型是否在不牺牲预测精度的前提下实现了更快的推理速度？
• RQ4 与现有 SOTA 方法相比，NAST 在多样化自中心未来定位基准测试中表现如何？

主要发现

• NAST 在多个自中心未来定位数据集上达到最先进的性能，优于现有的自回归与非自回归模型。
• 通过消除自回归解码，模型显著缩短了推理时间，实现了实时预测能力。
• 可学习的时间影响图有效捕捉了空间与时间特征之间的跨模态依赖关系，提升了建模精度。
• 实证结果表明，NAST 即使在长时程预测设置下仍保持高精度，展现出对误差传播的强鲁棒性。