[论文解读] Non-autoregressive Conditional Diffusion Models for Time Series Prediction

Lifeng Shen, James T. Kwok|arXiv (Cornell University)|Jun 8, 2023

Music and Audio Processing被引用 14

一句话总结

TimeDiff 是一种用于时间序列预测的非自回归扩散模型，使用未来混合和自回归初始化来条件化去噪器，在长期预测方面优于现有的扩散模型和基线。它在九个真实数据集上始终优于 TimeGrad、CSDI、SSSD 与 D3VAE。

ABSTRACT

Recently, denoising diffusion models have led to significant breakthroughs in the generation of images, audio and text. However, it is still an open question on how to adapt their strong modeling ability to model time series. In this paper, we propose TimeDiff, a non-autoregressive diffusion model that achieves high-quality time series prediction with the introduction of two novel conditioning mechanisms: future mixup and autoregressive initialization. Similar to teacher forcing, future mixup allows parts of the ground-truth future predictions for conditioning, while autoregressive initialization helps better initialize the model with basic time series patterns such as short-term trends. Extensive experiments are performed on nine real-world datasets. Results show that TimeDiff consistently outperforms existing time series diffusion models, and also achieves the best overall performance across a variety of the existing strong baselines (including transformers and FiLM).

研究动机与目标

• 为将扩散模型应用于时间序列预测，特别是长序列预测与非平稳性挑战提供动机与解决方案。
• 引入经时间序列专门设计的条件化机制以改善去噪引导——TimeDiff。
• 证明 TimeDiff 相较于现有扩散模型与强基线在多个真实数据集上的预测性能更优。
• 展示消融实验以验证未来混合与自回归初始化的有效性。

提出的方法

• 对未来时间窗 x1:H^0 使用标准 DDPM 公式进行前向扩散过程。
• 在去噪步骤中通过两个组件引入条件 c：未来混合 z_mix 和自回归初始化 z_ar。
• 在训练阶段，未来混合将过去条件与真实未来进行混合（推断阶段仅使用过去条件）。
• 自回归初始化通过一个预训练的线性 AR 模型提供初步预测 z_ar，以减少边界错配。
• 去噪网络 x_theta 将扩散步 embedding p^k 与输入 x1:H^k 结合，然后与条件 c 融合以预测 x1:H^{k-1}（非自回归去噪）。
• 以带条件的 L2 损失对去噪输出进行训练；推断阶段通过从 x1:H^K ~ N(0,I) 迭代去噪至 x1:H^0 的过程进行。

实验结果

研究问题

• RQ1 一个非自回归扩散模型是否能够在长序列预测中具备竞争力？
• RQ2 时间序列专门化的条件化机制（未来混合和 AR 初始化）是否能提升长程预测性能并减少边界错配？
• RQ3 TimeDiff 与自回归扩散及非自回归基线在多样化的真实数据集上有何比较？

主要发现

数据集	TimeDiff MSE	TimeGrad MSE	CSDI MSE	SSSD MSE	D3VAE MSE	FiLM MSE	Depts MSE	NBeats MSE	PatchTST MSE	FedFormer MSE	Autoformer MSE	Pyraformer MSE	Informer MSE	Transformer MSE	DLinear MSE	LSTMa MSE	平均排名
NorPool	0.636 (2)	1.129 (15)	0.967 (14)	1.145 (16)	0.964 (13)	0.707 (5)	0.668 (3)	0.964 (6)	0.595 (1)	0.891 (9)	0.946 (12)	0.933 (11)	0.804 (7)	0.928 (10)	0.671 (4)	1.481 (16)	2.7
Caiso	0.122 (3)	0.325 (15)	0.192 (9)	0.176 (7)	0.521 (16)	0.185 (8)	0.107 (1)	0.125 (4)	0.193 (10)	0.164 (5)	0.248 (11)	0.165 (6)	0.250 (12.5)	0.250 (12.5)	0.461 (16)	0.217 (9)	11.6
Weather	0.002 (2)	0.002 (2)	0.002 (2)	0.004 (6)	0.003 (4)	0.007 (10)	0.024 (13)	0.168 (15)	0.026 (14)	0.005 (7)	0.003 (4.5)	0.020 (12)	0.007 (10)	0.007 (10)	0.168 (16)	0.662 (13)	10.8
ETTm1	0.040 (2)	0.048 (6)	0.050 (10)	0.049 (8.5)	0.044 (4)	0.038 (1)	0.380 (5)	0.344 (6)	0.372 (5)	0.426 (8)	0.565 (12)	0.493 (10)	0.673 (13)	0.992 (15)	0.345 (2)	1.030 (16)	1.7
Wind	2.407 (9)	2.530 (12)	2.434 (10.5)	3.149 (15)	2.679 (13)	2.143 (1)	1.082 (8)	1.188 (13)	1.070 (7)	1.113 (10)	1.083 (9)	1.061 (4)	1.168 (12)	1.201 (14)	0.899 (2)	1.464 (16)	13.9
Traffic	0.121 (1)	1.223 (16)	0.393 (13)	0.151 (6)	0.151 (6)	0.198 (10)	1.019 (14)	0.642 (6)	0.831 (11)	0.591 (4)	0.688 (10)	0.659 (7)	0.664 (8)	0.671 (9)	0.389 (2)	0.966 (13)	7.7
Electricity	0.232 (1)	0.920 (16)	0.520 (12)	0.370 (14)	0.535 (13)	0.260 (3)	0.319 (12)	0.286 (10)	0.225 (5)	0.238 (6)	0.201 (2)	0.273 (9)	0.298 (11)	0.328 (13)	0.244 (4)	0.414 (14)	4.8
ETTh1	0.066 (1)	0.078 (8)	0.083 (11)	0.097 (14)	0.078 (8)	0.070 (2)	0.579 (9)	0.504 (5)	0.526 (7)	0.541 (8)	0.516 (6)	0.579 (9)	0.775 (14)	0.759 (13)	0.415 (2)	1.149 (16)	10.2
Exchange	0.017 (3)	0.078 (8)	0.071 (16)	0.023 (10.5)	0.019 (7)	0.018 (5)	0.020 (4)	0.047 (7)	0.020 (8.5)	0.133 (14)	0.056 (8)	0.073 (11)	0.073 (11)	0.062 (10)	0.244 (2)	0.403 (16)	8.1
avg rank	2.7	11.6	10.8	1.7	13.9	3.2	7.7	4.8	7.6	9.0	6.6	9.4	10.9	11.3	5.3	14.2

• TimeDiff 在九个真实数据集上始终优于现有的时间序列扩散模型（TimeGrad、CSDI、SSSD、D3VAE）。
• TimeDiff 在包括最先进的时间序列变换器与 FiLM 基模型在内的基线中取得最佳综合表现。
• 未来混合与 AR 初始化显著提升对长序列预测的条件化效果（消融显示两者均有收益）。
• 在使用加速采样器（如 DPM-Solver）时，TimeDiff 的推理仍然高效，去噪步数降至低于 20。
• 多变量结果显示 TimeDiff 在多样数据集上实现强劲的 MSE 表现，且平均排名有利。
• 相较于自回归扩散方法，TimeDiff 避免了误差累积与较慢的推理，同时保持高精度。