[论文解读] On the Constrained Time-Series Generation Problem

Andrea Coletta, Sriram Gopalakrishan+2 more|arXiv (Cornell University)|Jul 4, 2023

Energy Load and Power Forecasting被引用 7

一句话总结

本文提出 GuidedDiffTime，一种新型的引导扩散模型，用于约束性时间序列生成，可在不重新训练的情况下高效实现新约束下的采样，同时保持生成结果的真实性。该方法在约束满足度方面优于现有方法，并因零重新训练推理而将碳排放减少高达92%，特别适用于金融与能源领域中动态反事实情景的生成。

ABSTRACT

Synthetic time series are often used in practical applications to augment the historical time series dataset for better performance of machine learning algorithms, amplify the occurrence of rare events, and also create counterfactual scenarios described by the time series. Distributional-similarity (which we refer to as realism) as well as the satisfaction of certain numerical constraints are common requirements in counterfactual time series scenario generation requests. For instance, the US Federal Reserve publishes synthetic market stress scenarios given by the constrained time series for financial institutions to assess their performance in hypothetical recessions. Existing approaches for generating constrained time series usually penalize training loss to enforce constraints, and reject non-conforming samples. However, these approaches would require re-training if we change constraints, and rejection sampling can be computationally expensive, or impractical for complex constraints. In this paper, we propose a novel set of methods to tackle the constrained time series generation problem and provide efficient sampling while ensuring the realism of generated time series. In particular, we frame the problem using a constrained optimization framework and then we propose a set of generative methods including "GuidedDiffTime", a guided diffusion model to generate realistic time series. Empirically, we evaluate our work on several datasets for financial and energy data, where incorporating constraints is critical. We show that our approaches outperform existing work both qualitatively and quantitatively. Most importantly, we show that our "GuidedDiffTime" model is the only solution where re-training is not necessary for new constraints, resulting in a significant carbon footprint reduction, up to 92% w.r.t. existing deep learning methods.

研究动机与目标

• 解决生成满足用户指定数值约束（如市场压力情景或能源节约）的真实时间序列的挑战。
• 克服现有深度生成模型在约束变更时需重新训练，或依赖昂贵拒绝采样方法的局限性。
• 开发一种灵活、高效且可扩展的解决方案，适用于金融与能源等领域中的反事实时间序列生成。
• 通过消除约束修改时的重新训练需求，最小化环境影响，降低计算与碳排放成本。
• 确保合成时间序列具备高质量，既匹配真实数据的统计特性，又能满足复杂多样的约束条件。

提出的方法

• 将约束性时间序列生成问题建模为约束优化问题（COP），以显式建模数据属性与约束条件。
• 提出 DiffTime，一种基于噪声预测网络的条件去噪扩散模型，通过多约束条件进行生成。
• 引入 Loss-DiffTime，通过训练期间的可微分损失惩罚强制实施约束，实现高效采样，但需为新约束重新训练，限制可扩展性。
• 开发 GuidedDiffTime，一种引导扩散模型，通过在推理阶段使用约束嵌入动态调整生成过程，无需重新训练。
• 采用噪声调度与去噪 U-Net 架构，以建模时间依赖性并生成高保真度时间序列。
• 应用 t-SNE 与自相关性分析，评估生成序列的分布相似性与时间结构。

实验结果

研究问题

• RQ1 基于扩散的生成模型能否在无需重新训练的情况下，有效整合多样且复杂的约束条件于时间序列生成中？
• RQ2 在约束满足度与生成时间序列的真实性方面，GuidedDiffTime 相较于现有方法表现如何？
• RQ3 与基于重新训练的方法相比，约束感知生成在多大程度上可减少碳排放？
• RQ4 所提出的模型在不同类型约束（如趋势、固定值、全局最小值、多变量）下的泛化能力如何？
• RQ5 在约束保真度、样本质量与推理效率之间，约束性时间序列生成存在怎样的权衡？

主要发现

• GuidedDiffTime 在 OHLC 约束的股票数据上实现了 72% 的约束满足率，显著优于 RTSGAN（54%）与 COSCI-GAN（2%），同时保持了高水平的真实性。
• COP 基线实现了完美的约束满足率（100%），但需要显式优化，灵活性低于学习型模型。
• Loss-DiffTime 在高效采样下达到 69% 的满足率，但需为新约束重新训练，限制了可扩展性。
• 与基于重新训练的深度学习方法相比，GuidedDiffTime 最多可将碳足迹减少 92%，支持可持续部署。
• t-SNE 可视化结果表明，GuidedDiffTime 与 COP 生成的时间序列在分布相似性上接近真实数据，优于基线模型。
• 在自相关性分析中，GuidedDiffTime 更好地保留了收益率的时间动态特性，表明其具备强大的生成保真度。