[论文解读] Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs

Ming Jin, Yu Zheng+4 more|arXiv (Cornell University)|Feb 17, 2022

Time Series Analysis and Forecasting被引用 5

一句话总结

该论文提出MTGODE，一种基于神经ODE的连续多变量时间序列预测模型，通过连续ODE积分统一动态图学习与时间建模。通过连续ODE积分建模潜在时空动态，MTGODE在长序列和复杂依赖场景下，相比离散GNN方法实现了更高的预测精度和更低的计算成本。

ABSTRACT

Multivariate time series forecasting has long received significant attention in real-world applications, such as energy consumption and traffic prediction. While recent methods demonstrate good forecasting abilities, they have three fundamental limitations. (i) Discrete neural architectures: Interlacing individually parameterized spatial and temporal blocks to encode rich underlying patterns leads to discontinuous latent state trajectories and higher forecasting numerical errors. (ii) High complexity: Discrete approaches complicate models with dedicated designs and redundant parameters, leading to higher computational and memory overheads. (iii) Reliance on graph priors: Relying on predefined static graph structures limits their effectiveness and practicability in real-world applications. In this paper, we address all the above limitations by proposing a continuous model to forecast $ extbf{M}$ultivariate $ extbf{T}$ime series with dynamic $ extbf{G}$raph neural $ extbf{O}$rdinary $ extbf{D}$ifferential $ extbf{E}$quations ($ exttt{MTGODE}$). Specifically, we first abstract multivariate time series into dynamic graphs with time-evolving node features and unknown graph structures. Then, we design and solve a neural ODE to complement missing graph topologies and unify both spatial and temporal message passing, allowing deeper graph propagation and fine-grained temporal information aggregation to characterize stable and precise latent spatial-temporal dynamics. Our experiments demonstrate the superiorities of $ exttt{MTGODE}$ from various perspectives on five time series benchmark datasets.

研究动机与目标

• 解决离散神经架构在多变量时间序列预测中的局限性，避免导致潜在状态轨迹不连续和数值误差增大的问题。
• 降低现有模型中复杂离散设计和冗余参数带来的计算与内存开销。
• 克服对预定义静态图结构的依赖，提升模型在真实动态环境中的适应能力。
• 构建统一的连续框架，通过动态图构建与神经ODE联合建模空间与时间依赖。
• 实现无需事先知晓图拓扑结构的任意多变量时间序列的有效且高效的表征学习。

提出的方法

• 将多变量时间序列抽象为动态图，其中节点特征随时间演化，图结构未知且可学习。
• 设计神经ODE，同时学习缺失的图拓扑并执行联合时空消息传递。
• 通过神经ODE集成连续图传播（CGP）与连续时间聚合（CTA），建模平滑、深层的潜在动态。
• 使用可学习的图构建模块，从节点特征推断随时间演化的邻接矩阵，实现动态拓扑学习。
• 应用连续归一化流与自适应步长求解器（如Dopri5），高效求解ODE系统并保持梯度稳定。
• 在单一连续框架下统一空间与时间建模，避免离散层堆叠，减少参数冗余。

实验结果

研究问题

• RQ1 基于神经ODE的连续模型是否能在多变量时间序列预测中超越离散架构？
• RQ2 在不依赖静态图先验的前提下，动态图结构学习在多大程度上能提升预测性能？
• RQ3 空间与时间动态的连续集成如何影响模型的表达能力与数值稳定性？
• RQ4 在连续框架中，模型深度与积分时间对预测精度与计算效率有何影响？
• RQ5 与离散GNN基线相比，所提方法是否能在更低内存与MACs下实现更优性能？

主要发现

• MTGODE在五个基准数据集上达到最先进性能，RMSE指标优于DCRNN、STGCN和GMAN等强基线模型。
• 在Metr-La数据集上，MTGODE的RMSE达到6.04，显著低于次优方法，展现出卓越的预测精度。
• 模型对超参数变化具有强鲁棒性，最优性能在中等隐藏维数（如64–128）与积分时间下实现。
• 相比离散变体与MTGNN，MTGODE将计算与内存开销降低最多达30%，尤其在深层模型中优势明显。
• 消融实验表明，连续图传播（CGP）与连续时间聚合（CTA）组件均至关重要，若替换为离散版本将导致性能急剧下降。
• 即使在增大步长以提升速度时，该方法仍保持高效率，且在准确率与推理速度上均优于离散基线。