[论文解读] SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling

Jiaxiang Dong, Haixu Wu+4 more|arXiv (Cornell University)|Feb 2, 2023

Time Series Analysis and Forecasting被引用 30

一句话总结

SimMTM 通过从多个被掩蔽的邻居中重建原始序列来重新定义掩蔽时序预训练，使用序列级相似性进行自适应聚合，在内部域和跨域设置的预测与分类任务的微调中达到最先进的性能。

ABSTRACT

Time series analysis is widely used in extensive areas. Recently, to reduce labeling expenses and benefit various tasks, self-supervised pre-training has attracted immense interest. One mainstream paradigm is masked modeling, which successfully pre-trains deep models by learning to reconstruct the masked content based on the unmasked part. However, since the semantic information of time series is mainly contained in temporal variations, the standard way of randomly masking a portion of time points will seriously ruin vital temporal variations of time series, making the reconstruction task too difficult to guide representation learning. We thus present SimMTM, a Simple pre-training framework for Masked Time-series Modeling. By relating masked modeling to manifold learning, SimMTM proposes to recover masked time points by the weighted aggregation of multiple neighbors outside the manifold, which eases the reconstruction task by assembling ruined but complementary temporal variations from multiple masked series. SimMTM further learns to uncover the local structure of the manifold, which is helpful for masked modeling. Experimentally, SimMTM achieves state-of-the-art fine-tuning performance compared to the most advanced time series pre-training methods in two canonical time series analysis tasks: forecasting and classification, covering both in- and cross-domain settings.

研究动机与目标

• 促使时间序列自监督预训练，以减少标注需求。
• 解决由于保留时间变异性而使掩蔽时间序列重构变得困难的问题。
• 提出一个流形启发的框架，从多个被掩蔽的邻居中重构以揭示局部结构。
• 证明 SimMTM 在跨域的预测和分类微调中实现了最先进的性能。

提出的方法

• 对时间序列进行掩蔽，以为每个样本创建多个掩蔽视图。
• 对每个视图进行编码，以获得逐点表示，并学习序列级（全局）表示。
• 在表示空间中计算序列级相似性，以形成邻域图。
• 通过对邻近序列的逐点表示进行聚合，并以 softmax 加权系数实现对原始序列的重构。
• 用重构损失加上保持流形结构的邻域一致性约束进行训练；通过基于不确定性的调优来适应损失权重。

实验结果

研究问题

• RQ1 与单视图重构相比，从多个被掩蔽邻居重构是否能改善对时间变异性的学习？
• RQ2 引入邻域（流形）约束是否提升下游预测与分类的表示质量？
• RQ3 跨域迁移（在一个数据集上预训练，在另一个数据集上微调）是否得到提升？
• RQ4 不同掩蔽比率 r 与掩蔽视图数量 M 如何影响性能？

主要发现

• SimMTM 在预测和分类的微调中，在就域和跨域设置下均实现了最先进的性能。
• 在预测方面，SimMTM 相较 Ti-MAE 的平均 MSE 降幅为 8.3%，相较 CoST 为 14.7%，并且 MAE 降幅分别为 4.3%（相较 Ti-MAE）和 12.0%（相较 CoST）。
• 在分类中，SimMTM 超越了竞争的掩蔽建模和对比学习方法，包括在跨域 SleepEEG 到 EMG 转移中的显著提升（例如准确率从 81.74% 提升到 97.56%）。
• 消融研究表明重构损失和邻域约束都是必不可少的，在复杂转移中约束损失贡献尤为明显。
• SimMTM 能在多样的基础模型上泛化，并在数据有限的微调场景中仍然有效。