[论文解读] Temporal Autoencoding Improves Generative Models of Time Series

Chris Häusler, Alex Susemihl+2 more|arXiv (Cornell University)|Sep 12, 2013

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 4

一句话总结

本文提出时间自编码（TA），一种预训练方法，通过训练受限玻尔兹曼机（RBMs）从受损的过去帧中重建当前帧，显著提升时间序列生成模型在补全帧和预测任务中的性能。该方法在动作捕捉数据上将重建误差降低了高达80%，并在包括M3预测竞赛数据在内的多种数据集上提升了预测准确性。

ABSTRACT

Restricted Boltzmann Machines (RBMs) are generative models which can learn useful representations from samples of a dataset in an unsupervised fashion. They have been widely employed as an unsupervised pre-training method in machine learning. RBMs have been modified to model time series in two main ways: The Temporal RBM stacks a number of RBMs laterally and introduces temporal dependencies between the hidden layer units; The Conditional RBM, on the other hand, considers past samples of the dataset as a conditional bias and learns a representation which takes these into account. Here we propose a new training method for both the TRBM and the CRBM, which enforces the dynamic structure of temporal datasets. We do so by treating the temporal models as denoising autoencoders, considering past frames of the dataset as corrupted versions of the present frame and minimizing the reconstruction error of the present data by the model. We call this approach Temporal Autoencoding. This leads to a significant improvement in the performance of both models in a filling-in-frames task across a number of datasets. The error reduction for motion capture data is 56\% for the CRBM and 80\% for the TRBM. Taking the posterior mean prediction instead of single samples further improves the model's estimates, decreasing the error by as much as 91\% for the CRBM on motion capture data. We also trained the model to perform forecasting on a large number of datasets and have found TA pretraining to consistently improve the performance of the forecasts. Furthermore, by looking at the prediction error across time, we can see that this improvement reflects a better representation of the dynamics of the data as opposed to a bias towards reconstructing the observed data on a short time scale.

研究动机与目标

• 通过将因果动力学整合到受限玻尔兹曼机（RBMs）中，提升时间序列数据的生成建模能力。
• 通过引入监督预训练阶段，解决对比分歧训练在捕捉时间动态方面的局限性。
• 开发一种方法，同时提升时间序列建模中的重建保真度和预测性能。
• 在多种数据模态（包括动作捕捉和M3竞赛的经济时间序列）上验证该方法的有效性。

提出的方法

• 该方法将过去帧视为当前帧的损坏版本，并利用去噪自编码器原理训练模型以重建当前帧。
• 时间自编码（TA）作为预训练步骤，应用于时间受限玻尔兹曼机（TRBMs）和条件受限玻尔兹曼机（CRBMs）的标准对比分歧（CD）训练之前。
• 模型通过最小化预测当前帧与实际当前帧之间的重建误差进行训练，从而在学习到的表征中强制实现时间因果性。
• 通过多组样本的后验均值预测进一步提升估计精度。
• 该方法结合无监督CD学习与监督自编码器训练，平衡生成建模与动态结构学习。
• 通过动作捕捉和M3竞赛数据集上的补全帧任务与预测任务对方法进行评估。

实验结果

研究问题

• RQ1 使用时间自编码进行预训练是否能提升生成模型在时间序列数据上的重建质量？
• RQ2 将自编码器训练与对比分歧结合是否能增强RBMs对时间动态的建模能力？
• RQ3 TA预训练在不同数据类型的时间序列预测中如何影响预测性能？
• RQ4 TA预训练带来的性能提升是源于对数据动态的更好表征，还是仅仅反映了更好的短期重建？
• RQ5 TA预训练是否能在动作捕捉和宏观经济时间序列数据上一致地提升性能？

主要发现

• 与标准对比分歧训练相比，TA在动作捕捉数据上将TRBM的均方误差（MSE）降低了80%，将CRBM的MSE降低了56%。
• 在动作捕捉数据上，通过对50组样本的后验均值预测，CRBM的误差进一步降低了高达91%。
• TA预训练在M3竞赛数据集上持续提升了预测性能，显著降低了所有数据类别（年度、季度、月度及其他）的MAPE。
• 性能提升并非源于短期重建偏差，而是反映了对底层数据动态的更好表征。
• 自编码器预训练与对比分歧的结合优于单独使用任一方法，表明存在协同增益。
• 该方法在不同数据模态间具有泛化能力，在人体动作和经济时间序列上均表现出稳健性能。