[论文解读] Structured Time Series Prediction without Structural Prior

Darko Drakulić, Jean‐Marc Andreoli|arXiv (Cornell University)|Feb 7, 2022

Traffic Prediction and Management Techniques被引用 4

一句话总结

本文提出ADN，一种基于数据驱动的注意力机制模型，用于结构化时间序列预测，完全摒弃了对图结构等结构先验的依赖。通过在空间和时间维度上使用可学习的多头注意力机制，ADN在数据量极少的情况下仍能实现最先进性能，且在缺失数据处理和少样本领域自适应方面表现优异，仅用两天微调数据便超越了基于图的模型。

ABSTRACT

Time series prediction is a widespread and well studied problem with applications in many domains (medical, geoscience, network analysis, finance, econometry etc.). In the case of multivariate time series, the key to good performances is to properly capture the dependencies between the variates. Often, these variates are structured, i.e. they are localised in an abstract space, usually representing an aspect of the physical world, and prediction amounts to a form of diffusion of the information across that space over time. Several neural network models of diffusion have been proposed in the literature. However, most of the existing proposals rely on some a priori knowledge on the structure of the space, usually in the form of a graph weighing the pairwise diffusion capacity of its points. We argue that this piece of information can often be dispensed with, since data already contains the diffusion capacity information, and in a more reliable form than that obtained from the usually largely hand-crafted graphs. We propose instead a fully data-driven model which does not rely on such a graph, nor any other prior structural information. We conduct a first set of experiments to measure the impact on performance of a structural prior, as used in baseline models, and show that, except at very low data levels, it remains negligible, and beyond a threshold, it may even become detrimental. We then investigate, through a second set of experiments, the capacity of our model in two respects: treatment of missing data and domain adaptation.

研究动机与目标

• 解决多变量时间序列预测中结构先验（如手工构建的图）带来的局限性，这些先验可能限制模型性能与泛化能力。
• 开发一种完全基于数据学习依赖关系的模型，无需预设的空间或时间关系先验知识。
• 评估结构先验对模型性能的影响，并证明当数据足够充分时，这些先验可能反而产生负面影响。
• 研究模型在处理缺失数据时的鲁棒性，以及其在少样本领域自适应中的有效性。

提出的方法

• ADN模型采用标准的编码器-解码器架构，将多头注意力机制依次应用于事件网格（位置 × 时间点）的空间和时间维度。
• 通过重新组织张量维度实现注意力计算：将空间（N）和时间（T）维度交替合并至批次维度（B），以独立实现对每个维度的注意力计算。
• 模型不使用位置编码；相反，解码器自注意力中的因果掩码确保时间顺序，使预测仅依赖于过去事件。
• 在领域自适应中，仅对目标域的位置嵌入进行微调，其余所有参数（包括注意力权重和时间嵌入）保持固定。
• 模型通过在短期预测任务上使用标准回归损失进行端到端训练，不引入任何结构归纳偏置。
• 该架构轻量化且完全可微，支持在小样本目标域数据上高效微调。

实验结果

研究问题

• RQ1 当训练数据足够充分时，使用结构先验（如图结构）是否能显著提升时间序列预测性能？
• RQ2 在完全不依赖任何结构先验的前提下，基于数据驱动的模型能否达到或超越依赖此类先验的最先进模型性能？
• RQ3 所提出的模型在多变量时间序列中缺失数据处理方面表现如何？
• RQ4 该模型在仅使用极少量目标域标注数据的情况下，对新领域的泛化能力有多强？
• RQ5 该模型能否在未显式使用位置编码的情况下，学习到如周期性日循环等时间模式？

主要发现

• 依赖结构先验的模型在训练数据超过某一阈值后，性能反而下降或产生负面影响，表明在数据充足时，此类先验并非必需。
• ADN在未使用任何结构先验的情况下，性能可与基于图的模型（如STGAT）相当甚至更优，尤其在仅用几天目标域数据微调后表现更佳。
• 仅用两天微调数据，ADN在零样本自适应（无微调）场景下即可达到STGAT的性能水平，并在此基础上持续提升。
• 模型在未使用位置编码的情况下，仍能通过注意力机制自主推断时间顺序，成功学习到日周期性时间模式。
• 在领域自适应中，仅需微调目标域的位置嵌入，即可实现高效且有效的参数迁移，更新参数极少。
• ADN在处理缺失数据方面表现出更强的鲁棒性，因其直接从观测到的数据模式中学习依赖关系，而非依赖于固定的图结构。