[论文解读] ScoreGrad: Multivariate Probabilistic Time Series Forecasting with Continuous Energy-based Generative Models

Tijin Yan, Hongwei Zhang+3 more|arXiv (Cornell University)|Jun 18, 2021

Time Series Analysis and Forecasting参考文献 47被引用 14

一句话总结

ScoreGrad 提出了一种新颖的连续能量基准生成模型，用于多变量概率时间序列预测，利用条件随机微分方程（SDEs）和得分匹配，实现灵活且高性能的预测。通过使用数值求解器和 MCMC 修正器迭代求解反向时间 SDE，该方法在六个真实世界数据集上取得了最先进性能，是首次在该领域应用连续 EBMs。

ABSTRACT

Multivariate time series prediction has attracted a lot of attention because of its wide applications such as intelligence transportation, AIOps. Generative models have achieved impressive results in time series modeling because they can model data distribution and take noise into consideration. However, many existing works can not be widely used because of the constraints of functional form of generative models or the sensitivity to hyperparameters. In this paper, we propose ScoreGrad, a multivariate probabilistic time series forecasting framework based on continuous energy-based generative models. ScoreGrad is composed of time series feature extraction module and conditional stochastic differential equation based score matching module. The prediction can be achieved by iteratively solving reverse-time SDE. To the best of our knowledge, ScoreGrad is the first continuous energy based generative model used for time series forecasting. Furthermore, ScoreGrad achieves state-of-the-art results on six real-world datasets. The impact of hyperparameters and sampler types on the performance are also explored. Code is available at https://github.com/yantijin/ScoreGradPred.

研究动机与目标

• 为解决现有时间序列生成模型在扩散模型中对噪声尺度和固定步数敏感的局限性。
• 开发一种通用且灵活的多变量概率预测框架，避免变分自编码器（VAEs）和归一化流模型中严格的函数形式限制。
• 通过连续时间 SDE 实现端到端训练与推理，提升模型鲁棒性与超参数稳定性。
• 建立一种基于连续能量基准模型的新范式，用于时间序列预测，此前该方法在该领域尚未被探索。

提出的方法

• 该框架包含一个使用深度神经网络的时间序列特征提取模块，用于编码历史序列。
• 一个条件得分匹配模块利用连续时间 SDE 学习数据分布的得分函数，从而灵活建模复杂依赖关系。
• 通过使用欧拉-玛丽亚姆或随机龙格-库塔方法等数值求解器求解反向时间 SDE 来执行预测。
• 采用预测-校正采样策略：预测器使用 SDE 求解器反向时间演化，而校正器应用朗之万动力学对样本进行精炼。
• 通过在 SDE 上进行得分匹配进行模型训练，最小化相对于数据分布的期望得分匹配损失。
• 评估了不同 SDE（VE、VP、sub-VP），并使用祖先采样和反向扩散采样器进行推理。

实验结果

研究问题

• RQ1 连续能量基准生成模型是否能在多变量时间序列预测中超越离散扩散模型？
• RQ2 SDE 的选择（VE、VP、sub-VP）如何影响预测性能与训练稳定性？
• RQ3 不同数值求解器与采样策略（如欧拉-玛丽亚姆 vs. 反向扩散）对预测质量有何影响？
• RQ4 该框架对超参数设置（如噪声尺度与步长）的鲁棒性如何？
• RQ5 所提出的框架是否能在多样且高维的真实世界时间序列数据集中实现泛化？

主要发现

• ScoreGrad 在六个真实世界多变量时间序列数据集（包括 Electricity、ETTh1、ETTh2、ETTm1、ETTm2 和 Weather）上实现了最先进性能。
• 与 TimeGrad 等离散扩散模型相比，该模型在噪声尺度和步数敏感性方面表现出更优的鲁棒性。
• 不同 SDE 类型的性能表现各异：VE 和 VP SDE 表现稳定且持续提升，而 sub-VP SDE 尽管训练损失相似，但结果不一致。
• 预测-校正采样策略显著提升了样本质量，其中朗之万动力学校正器增强了生成样本的保真度。
• 祖先采样与反向扩散采样器对不同 SDE 表现有效，其中反向扩散在某些 SDE（如 sub-VP）上表现更优。
• 该框架具备良好的泛化性与可扩展性，支持多种 SDE 与数值求解器，且无需架构限制。