[论文解读] Ti-MAE: Self-Supervised Masked Time Series Autoencoders

Zhe Li, Zhongwen Rao+3 more|ArXiv.org|Jan 21, 2023

Time Series Analysis and Forecasting被引用 14

一句话总结

Ti-MAE 引入一种自监督的掩蔽时序自编码器，它重建随机掩蔽的逐点时序令牌，桥接对比表示学习与生成式 Transformer 模型用于预测和分类。

ABSTRACT

Multivariate Time Series forecasting has been an increasingly popular topic in various applications and scenarios. Recently, contrastive learning and Transformer-based models have achieved good performance in many long-term series forecasting tasks. However, there are still several issues in existing methods. First, the training paradigm of contrastive learning and downstream prediction tasks are inconsistent, leading to inaccurate prediction results. Second, existing Transformer-based models which resort to similar patterns in historical time series data for predicting future values generally induce severe distribution shift problems, and do not fully leverage the sequence information compared to self-supervised methods. To address these issues, we propose a novel framework named Ti-MAE, in which the input time series are assumed to follow an integrate distribution. In detail, Ti-MAE randomly masks out embedded time series data and learns an autoencoder to reconstruct them at the point-level. Ti-MAE adopts mask modeling (rather than contrastive learning) as the auxiliary task and bridges the connection between existing representation learning and generative Transformer-based methods, reducing the difference between upstream and downstream forecasting tasks while maintaining the utilization of original time series data. Experiments on several public real-world datasets demonstrate that our framework of masked autoencoding could learn strong representations directly from the raw data, yielding better performance in time series forecasting and classification tasks.

研究动机与目标

• 弥合时间序列对比学习与生成式 Transformer 方法之间的差距。
• 直接从原始时序数据学习强表征，尽量减少归纳偏置。
• 通过掩蔽自编码改进长序列预测与时序分类。
• 提供一个灵活的预训练框架，可跨多个预测跨度，无需再训练。
• 展示在真实世界数据集上的可扩展性与有效性。

提出的方法

• 使用一维卷积层对时序进行标记化并加入固定的正弦位置嵌入。
• 随机掩蔽部分嵌入的时序令牌，仅将可见令牌输入到 Transformer 编码器。
• 使用更轻量的 Transformer 解码器，从编码的可见令牌和掩蔽令牌重建逐点原始序列。
• 在掩蔽区域对原始值与重构值之间的均方误差进行训练。
• 采用不对称的 MAE 风格架构，其中编码器比解码器更强，且不使用日期特定嵌入。
• 证明掩蔽比率约为 75% 能获得最佳性能，且随机掩蔽在不需要额外数据增强的情况下提供多样化视图。

实验结果

研究问题

• RQ1 Ti-MAE 能否学习在多种真实世界多变量时序数据集上提升预测准确性的表征？
• RQ2 随机掩蔽是否比连续掩蔽在预测和分类任务中更好地缓解分布偏移？
• RQ3 掩蔽比率、输入序列长度和解码器设计如何影响学习表征的质量及下游性能？
• RQ4 Ti-MAE 作为直接表征学习者在时间序列分类任务中是否有效，无需大量增强或层级先验？

主要发现

• 与表示学习基线相比，Ti-MAE 在多个时域的不同预测跨度上持续提升跨数据集的预测表现（ETTh、Weather、Exchange、ILI）。
• 相对于基线，Ti-MAE 的 MAE 分别下降 15.7%（ETTh）、42.3%（Weather）、45.5%（Exchange）、19.2%（ILI）。
• 预训练的 Ti-MAE 可与冻结的编码器和简单线性变换投影一起用于不同预测跨度的微调，无需额外回归器。
• 在 128 个 UCR 数据集的分类中，Ti-MAE 的平均准确率为 0.8231，与其他无监督方法相比具有竞争力（平均排名 2.054）。
• 消融研究表明最优掩蔽比率约为 75%，且使用轻量解码器的随机掩蔽对时间序列重构和下游任务有效。