[论文解读] Towards Better Long-range Time Series Forecasting using Generative Adversarial Networks

Shiyu Liu, Ghosh, Rohan+1 more|arXiv (Cornell University)|Oct 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 54被引用 5

一句话总结

本文提出生成预测（GenF），一种新颖的长程时间序列预测框架，结合基于条件Wasserstein GAN的合成数据生成（CWGAN-TS）与Transformer预测器，以平衡偏差与方差，在五个公开数据集上，相较于最先进模型，平均绝对误差降低5–11%，参数量减少15–50%。

ABSTRACT

Long-range time series forecasting is usually based on one of two existing forecasting strategies: Direct Forecasting and Iterative Forecasting, where the former provides low bias, high variance forecasts and the later leads to low variance, high bias forecasts. In this paper, we propose a new forecasting strategy called Generative Forecasting (GenF), which generates synthetic data for the next few time steps and then makes long-range forecasts based on generated and observed data. We theoretically prove that GenF is able to better balance the forecasting variance and bias, leading to a much smaller forecasting error. We implement GenF via three components: (i) a novel conditional Wasserstein Generative Adversarial Network (GAN) based generator for synthetic time series data generation, called CWGAN-TS. (ii) a transformer based predictor, which makes long-range predictions using both generated and observed data. (iii) an information theoretic clustering algorithm to improve the training of both the CWGAN-TS and the transformer based predictor. The experimental results on five public datasets demonstrate that GenF significantly outperforms a diverse range of state-of-the-art benchmarks and classical approaches. Specifically, we find a 5% - 11% improvement in predictive performance (mean absolute error) while having a 15% - 50% reduction in parameters compared to the benchmarks. Lastly, we conduct an ablation study to demonstrate the effectiveness of the components comprising GenF.

研究动机与目标

• 解决长程时间序列预测中固有的偏差-方差权衡问题，其中直接预测存在高方差，而迭代预测则面临高偏差。
• 开发一种新型预测策略，利用合成数据生成提升长期预测的准确性与鲁棒性。
• 设计一种可扩展且参数高效的框架，在降低模型复杂度的同时超越现有最先进模型。
• 通过消融实验与实证评估，验证所提组件——CWGAN-TS、Transformer预测器及信息论聚类——的有效性。

提出的方法

• 提出生成预测（GenF），一种新型预测策略，通过生成未来时间步的合成时间序列数据，并将其与观测数据结合，实现长程预测。
• 实现基于条件Wasserstein GAN的生成器CWGAN-TS，用于多变量时间序列数据生成，采用梯度惩罚以稳定训练并提升样本质量。
• 集成信息论聚类（ITC）算法，识别潜在空间中的代表性单元，提升生成器与预测器的训练效率与泛化能力。
• 采用基于Transformer的预测器，同时关注真实与生成的时间序列序列，以实现更优的上下文建模，生成长程预测结果。
• 联合训练生成器与预测器，采用多目标损失函数，结合对抗损失、重建损失及基于聚类的正则化项。
• 应用群体信息交叉验证（PICV）与时间序列交叉验证（TSCV），评估模型在时间序列设定下的鲁棒性并防止数据泄露。

实验结果

研究问题

• RQ1 与直接预测或迭代预测相比，合成数据生成能否改善长程时间序列预测中的偏差-方差权衡？
• RQ2 所提出的CWGAN-TS生成器在生成高保真度多变量时间序列方面，相较于标准GAN及其他条件GAN变体表现如何？
• RQ3 将生成数据与真实观测数据结合，在多样化数据集上对预测准确性提升的幅度有多大？
• RQ4 信息论聚类（ITC）算法在提升生成器与预测器训练稳定性及性能方面效果如何？
• RQ5 GenF在严格的时间序列验证（TSCV）下是否仍保持优越性能，表明其对数据泄露风险具有鲁棒性？

主要发现

• GenF在五个公开数据集上相较最先进基准模型，预测性能（平均绝对误差）提升5%至11%。
• 所提出的CWGAN-TS生成器相较标准GAN，合成数据生成误差降低81%；相较带梯度惩罚的CWGAN-GP基线，误差降低78%。
• ITC算法相较随机选择基线（CWGAN-RS），生成性能提升62%，证明其在选择信息丰富潜在单元方面的有效性。
• GenF在保持或提升性能的同时，相较最先进模型减少15%至50%的模型参数，体现高度的参数效率。
• 在时间序列交叉验证（TSCV）下，GenF相较所有基线模型至少提升7.8%，证实其对时间顺序数据划分的鲁棒性及对数据泄露的抗性。
• 消融研究确认，CWGAN-TS生成器与ITC算法均为性能关键组件，二者均对预测准确性与生成质量有显著贡献。