[论文解读] Topological Attention for Time Series Forecasting

Sebastian Zeng, Florian Gräf+2 more|arXiv (Cornell University)|Jul 19, 2021

Topological and Geometric Data Analysis参考文献 34被引用 15

一句话总结

本文提出拓扑注意力（topological attention），一种通过滑动窗口从时间序列中提取局部拓扑特征（利用持久同调计算），并使用可微注意力机制将其整合到神经时间序列预测模型中的方法。当与 N-BEATS 结合时，该方法在 M4 基准测试中达到最先进性能，相较于 M4 冠军，sMAPE 降低 0.4%，OWA 降低 1.2%。

ABSTRACT

The problem of (point) forecasting $ extit{univariate} $ time series is considered. Most approaches, ranging from traditional statistical methods to recent learning-based techniques with neural networks, directly operate on raw time series observations. As an extension, we study whether $ extit{local topological properties}$, as captured via persistent homology, can serve as a reliable signal that provides complementary information for learning to forecast. To this end, we propose $ extit{topological attention}$, which allows attending to local topological features within a time horizon of historical data. Our approach easily integrates into existing end-to-end trainable forecasting models, such as $ exttt{N-BEATS}$, and in combination with the latter exhibits state-of-the-art performance on the large-scale M4 benchmark dataset of 100,000 diverse time series from different domains. Ablation experiments, as well as a comparison to a broad range of forecasting methods in a setting where only a single time series is available for training, corroborate the beneficial nature of including local topological information through an attention mechanism.

研究动机与目标

• 探究通过持久同调提取的局部拓扑特征是否可作为时间序列预测的互补信号。
• 开发一种可微注意力机制，使预测模型能够关注历史时间序列片段中的局部拓扑模式。
• 在大规模（M4 基准）和低数据（单个时间序列）设置下，评估拓扑注意力的有效性。
• 证明当通过注意力机制整合后，拓扑特征可使预测性能超越标准神经网络模型。

提出的方法

• 该方法通过在历史数据上滑动长度为 $ n = loor{0.7 imes T} $ 的重叠窗口来处理时间序列。
• 对每个窗口，使用时间延迟嵌入和 Vietoris-Rips 持久同调计算持久性条形码。
• 通过可学习的、可微的映射 $ V_ heta $ 将条形码向量化为 $ bR^e $，从而实现梯度传播。
• 将向量化的拓扑特征输入多头自注意力机制，该机制通过 Transformer 编码器层实现，并加入位置编码。
• 注意力模块的输出通过多层感知机（MLP）投影，生成上下文向量 $ bv o bR^T $，并与输入时间序列在预测模型中融合。
• 整个架构端到端可训练，且可无缝集成至 N-BEATS 等模型中，无需对网络结构进行重大修改。

实验结果

研究问题

• RQ1 能否从短时间窗口中通过持久同调提取的局部拓扑特征，为时间序列预测提供有意义且互补的信号？
• RQ2 通过可微注意力机制关注这些局部拓扑特征，是否能提升预测精度，相较于标准神经时间序列预测模型？
• RQ3 在仅有一个时间序列可用于训练的低数据场景下，拓扑注意力表现如何？
• RQ4 当整合到预测模型中时，拓扑特征与注意力机制各自的相对贡献是什么？

主要发现

• 拓扑注意力在 M4 基准测试中提升了预测性能，相较于 N-BEATS 基线，OWA 相对降低 0.4%。
• 与 M4 竞赛冠军相比，该方法使 sMAPE 降低 0.4%，OWA 降低 1.2%，在包含 100,000 个时间序列的基准测试中达到最先进性能。
• 消融实验表明，单独使用拓扑特征或注意力机制均无法提升性能；仅当两者结合时才能获得性能增益。
• 该方法在大型子组（如 23,000 个年度序列和 48,000 个月度序列）中表现尤为出色，表明其在多样化时间序列领域具有鲁棒性。
• 尽管拓扑特征计算的计算开销极低，该方法仍能有效扩展至大规模预测任务。
• 将拓扑注意力集成到 N-BEATS 中后，所有 M4 子组均获得一致性能提升，且 OWA 的提升在统计上显著。