[论文解读] TimeVAE: A Variational Auto-Encoder for Multivariate Time Series Generation

Abhyuday Desai, Cynthia Freeman+2 more|arXiv (Cornell University)|Nov 15, 2021

Time Series Analysis and Forecasting被引用 38

一句话总结

TimeVAE 引入了一个用于生成具有可解释时序结构的多变量时间序列的变分自编码器，在相似性和预测性能方面达到有竞争力甚至优于的方法，同时训练效率优于基于GAN的方法。

ABSTRACT

Recent work in synthetic data generation in the time-series domain has focused on the use of Generative Adversarial Networks. We propose a novel architecture for synthetically generating time-series data with the use of Variational Auto-Encoders (VAEs). The proposed architecture has several distinct properties: interpretability, ability to encode domain knowledge, and reduced training times. We evaluate data generation quality by similarity and predictability against four multivariate datasets. We experiment with varying sizes of training data to measure the impact of data availability on generation quality for our VAE method as well as several state-of-the-art data generation methods. Our results on similarity tests show that the VAE approach is able to accurately represent the temporal attributes of the original data. On next-step prediction tasks using generated data, the proposed VAE architecture consistently meets or exceeds performance of state-of-the-art data generation methods. While noise reduction may cause the generated data to deviate from original data, we demonstrate the resulting de-noised data can significantly improve performance for next-step prediction using generated data. Finally, the proposed architecture can incorporate domain-specific time-patterns such as polynomial trends and seasonalities to provide interpretable outputs. Such interpretability can be highly advantageous in applications requiring transparency of model outputs or where users desire to inject prior knowledge of time-series patterns into the generative model.

研究动机与目标

• 在真实数据稀缺或受限时，激励合成时间序列数据的生成。
• 提出基于VAE的架构（Base TimeVAE 与 Interpretable TimeVAE），能够对领域知识进行编码。
• 使时间结构（层级、趋势、季节性）可解释，以提升可解释性。
• 展示 TimeVAE 能实现高数据与原始数据的一致性、强预测性能，并且训练速度快于基于GAN的方法。

提出的方法

• 使用一个变分自编码器，其中编码器输出一个概率潜在变量 z，解码器重构 X。
• 采用ELBO损失训练，包含KL散度以正则化潜在空间。
• Base TimeVAE 采用卷积层和全连接层将 X(N x T x D) 映射到多变量高斯潜在变量并回映射。
• Interpretable TimeVAE 增加可解释的解码器模块用于趋势和季节性（注入领域知识），以及一个残差基解码器。
• 趋势模块从 z 估计多项式趋势系数并重构单调趋势 V_tr。
• 季节性模块通过基函数系数和索引模型化多种季节性模式以重构 V_sn，然后对模式求和。
• 整体解释器输出等于趋势、季节性及可选基解码器输出之和。
• TimeVAE 的训练采用加权的 ELBO，其中重建损失的权重可调（0.5 到 3.5）。

实验结果

研究问题

• RQ1 TimeVAE 能否在真实多变量时间序列数据中忠实建模时序分量？
• RQ2 在数据可用性变化的情形下，TimeVAE 与基于GAN和自回归的基线在相似性和预测任务上的表现如何？
• RQ3 注入域特定的时序结构（层级、趋势、季节性）是否在不牺牲生成质量的前提下提升了可解释性？
• RQ4 TimeVAE 在数据稀缺情形下是否比最先进的时间序列生成方法更具数据效率和计算效率？

主要发现

• TimeVAE 在不同数据集和训练规模下在 t-SNE 可视化中与原始数据具有强烈重叠，表明高度相似性。
• 在后续一步预测任务中，TimeVAE 持续达到或超过 competing generators 的性能，且在 sine 与 stockv 数据集上常接近原始数据的性能。
• TimeVAE 展现出降噪效应，能够提升下游预测性能。
• 可解释 TimeVAE 能显式建模层级、趋势和季节性，提供可解释的输出并促进领域知识注入。
• TimeVAE 的训练时间显著低于基于GAN的方法（表3 显示时间显著更快）。
• 在数据稀缺情景（2–100% 的训练数据）下，TimeVAE 通常优于 T-Forcing 和 RCGAN，并与 TimeGAN 相当，在噪声大或数据量较小时具有明显优势。