[论文解读] Time-series Transformer Generative Adversarial Networks

Padmanaba Srinivasan, William J. Knottenbelt|arXiv (Cornell University)|May 23, 2022

Time Series Analysis and Forecasting被引用 9

一句话总结

TsT-GAN 提出了一种基于 Transformer 的生成对抗网络，用于时间序列数据合成，能够联合建模全局联合分布和逐步的条件依赖关系。通过整合掩码语言建模和矩匹配目标，其在五个数据集上均实现了最先进性能，在预测和判别任务中优于五种最先进基线模型。

ABSTRACT

Many real-world tasks are plagued by limitations on data: in some instances very little data is available and in others, data is protected by privacy enforcing regulations (e.g. GDPR). We consider limitations posed specifically on time-series data and present a model that can generate synthetic time-series which can be used in place of real data. A model that generates synthetic time-series data has two objectives: 1) to capture the stepwise conditional distribution of real sequences, and 2) to faithfully model the joint distribution of entire real sequences. Autoregressive models trained via maximum likelihood estimation can be used in a system where previous predictions are fed back in and used to predict future ones; in such models, errors can accrue over time. Furthermore, a plausible initial value is required making MLE based models not really generative. Many downstream tasks learn to model conditional distributions of the time-series, hence, synthetic data drawn from a generative model must satisfy 1) in addition to performing 2). We present TsT-GAN, a framework that capitalises on the Transformer architecture to satisfy the desiderata and compare its performance against five state-of-the-art models on five datasets and show that TsT-GAN achieves higher predictive performance on all datasets.

研究动机与目标

• 解决现实应用中时间序列数据有限或受隐私限制的挑战，例如医疗保健和用户交互分析。
• 开发一种生成模型，以捕捉整个时间序列序列的联合分布以及每个时间步的条件分布。
• 通过使用非自回归、基于注意力机制的生成器与自监督预训练，克服自回归模型中的误差累积问题。
• 通过结合 GAN 与掩码建模的新型训练框架，提升合成时间序列数据在下游任务中的泛化能力和保真度。
• 通过定量（TS-TR）和定性（t-SNE）评估，在多种时间序列基准上展示其性能优于五种最先进模型。

提出的方法

• 采用基于 Transformer 的生成器，并引入掩码语言建模目标，对生成器进行预训练，以重建被掩码的时间序列标记，从而提升表征学习能力。
• 整合矩匹配（MM）损失，以对齐真实序列与生成序列的一阶和二阶统计量，提升分布保真度。
• 采用条件 GAN 框架，其中判别器用于区分真实序列与合成序列，生成器则被训练以欺骗判别器。
• 使用最小二乘 GAN（LS-GAN）损失与辅助 MM 损失的组合来训练生成器，判别器则在真实与生成序列之间进行训练。
• 应用可学习的嵌入层，将输入时间序列映射到潜在空间后再输入生成器，以更好地建模时间依赖性。
• 在生成器中使用双向 Transformer 编码器，以捕捉长程时间上下文，避免自回归模型中常见的误差传播问题。

实验结果

研究问题

• RQ1 基于 Transformer 的 GAN 架构是否能有效建模时间序列数据中的联合分布与条件依赖关系？
• RQ2 引入掩码语言建模如何提升合成时间序列的质量，相较于标准 GAN？
• RQ3 矩匹配在多样化时间序列数据集上在多大程度上提升了生成序列的统计保真度？
• RQ4 当在合成数据上进行训练时，所提出的架构是否在下游预测任务中优于现有最先进模型？
• RQ5 消融研究显示，各组件（如掩码建模、嵌入、矩匹配）对整体性能的贡献如何？

主要发现

• 在 TS-TR 基准测试中，TsT-GAN 在全部五个数据集上均取得最高预测性能，基础数据集上的平均测试损失为 .010 ± .001，优于所有基线模型。
• 在判别分数（正确分类的合成序列比例）方面，TsT-GAN 在 Sines 上达到 .026 ± .018，在 Stocks 上为 .122 ± .020，在 Energy 上为 .442 ± .007，表明其具有较强的分布相似性。
• 消融研究显示，移除嵌入网络会导致除 Sines 外所有数据集的预测性能显著下降，凸显其在建模条件动态中的关键作用。
• 仅使用矩匹配与 LS-GAN 损失的基线消融模型性能劣于 TsT-GAN，表明掩码建模与嵌入网络对性能至关重要。
• TsT-GAN 的 t-SNE 可视化显示，合成序列在潜在空间中与真实数据高度对齐，尤其在 Air 和 Chickenpox 等复杂数据集上表现更优。
• 尽管性能优异，但基础模型（无 MM 和嵌入）在部分数据集上（如 Air 上的 .613 ± .015）获得了最高的判别分数，表明仍存在残余的分布差距。