[论文解读] Vector Quantized Time Series Generation with a Bidirectional Prior Model

Dae-Soo Lee, Sara Malacarne+1 more|arXiv (Cornell University)|Mar 8, 2023

Time Series Analysis and Forecasting被引用 10

一句话总结

TimeVQVAE 引入了一个两阶段的向量量化方法，用于时间序列生成，采用时频域 VQ-VAE 结合 LF‑HF 分离和双向 Transformer 先验，以提升全局时序一致性和样本质量。

ABSTRACT

Time series generation (TSG) studies have mainly focused on the use of Generative Adversarial Networks (GANs) combined with recurrent neural network (RNN) variants. However, the fundamental limitations and challenges of training GANs still remain. In addition, the RNN-family typically has difficulties with temporal consistency between distant timesteps. Motivated by the successes in the image generation (IMG) domain, we propose TimeVQVAE, the first work, to our knowledge, that uses vector quantization (VQ) techniques to address the TSG problem. Moreover, the priors of the discrete latent spaces are learned with bidirectional transformer models that can better capture global temporal consistency. We also propose VQ modeling in a time-frequency domain, separated into low-frequency (LF) and high-frequency (HF). This allows us to retain important characteristics of the time series and, in turn, generate new synthetic signals that are of better quality, with sharper changes in modularity, than its competing TSG methods. Our experimental evaluation is conducted on all datasets from the UCR archive, using well-established metrics in the IMG literature, such as Fréchet inception distance and inception scores. Our implementation on GitHub: \url{https://github.com/ML4ITS/TimeVQVAE}.

研究动机与目标

• 推动在 GAN 基方法和 RNN 限制之外提升时间序列生成能力。
• 引入一个基于两阶段 VQ 的框架（VQ-VAE+双向先验）用于时间序列生成（TSG）。
• 利用时频表示以及 LF-HF 潜在分离来提升质量与可控性。
• 实现无条件与类别条件生成，并具备高效采样。
• 在 UCR 数据集档案上提供使用 IMG 风格评测指标（IS、FID、CAS）的全面评估。

提出的方法

• 通过 STFT 将时间序列转换到时频域，并划分为 LF 与 HF 区域。
• 使用两个独立的 VQ-VAE 分支（LF 与 HF），各自拥有对应的编码器、解码器和码本。
• 学习离散潜在空间，并训练两个双向 Transformer 作为 LF 与 HF 令牌的先验。
• 执行迭代双通道解码以先采样 LF、再采样 HF，并相加形成最终信号。
• 实现受 MaskGIT 启发的基于迭代屏蔽的先验训练，针对 LF 与 HF 令牌采用双通道解码方案。
• 通过类别令牌实现类别条件生成，并在采样时使用无分类器引导。
• 在完整的 UCR 档案上使用 IS、FID、CAS 进行评估，并共享用于评估的预训练 FCN 模型。

实验结果

研究问题

• RQ1 TimeVQVAE 是否能够在无条件与类别条件生成上超越基于 GAN/RNN 的 TSG 方法，覆盖 UCR 数据集？
• RQ2 与时域 VQ 相比，基于时频域的 VQ 建模并进行 LF-HF 分离是否能提升重构和样本质量？
• RQ3 双向 Transformer 先验是否比自回归先验在 TSG 中更有效地捕捉全局时序一致性？
• RQ4 有引导的类别条件采样和感知损失是否能在样本真实感和类别保真度方面带来额外提升？
• RQ5 LF 先采样、HF 后采样以及迭代解码对生成时间序列的多样性与保真度有何影响？

主要发现

• TimeVQVAE 在无条件采样的 IS 和 FID 指标上超越了竞争的 TSG 模型（GMMN、RCGAN、TimeGAN、SigCWGAN），覆盖 UCR 数据集。
• LF-HF 分离在时频域相比时域 VQ 能带来更高品质与更清晰的信号变化。
• 为 LF 和 HF 先验学习两个独立的双向 Transformer 可提升全局时序一致性。
• 迭代双通道解码（LF 先，HF 后）结合随机采样可提高真实感并缩小训练/推理差距。
• 带有适度引导尺度的有引导类别条件采样可产生更清晰的类别边界及更好的 CAS，相较基线更优。
• 使用预训练 FCN 的感知损失在样本质量方面提供微小但正向的提升。