[论文解读] Time-Series Representation Learning via Temporal and Contextual Contrasting

Emadeldeen Eldele, Mohamed Ragab+5 more|arXiv (Cornell University)|Jun 26, 2021

Time Series Analysis and Forecasting参考文献 25被引用 35

一句话总结

TS-TCC 是一个无监督的时间序列表示学习框架，使用两个相关的增强视图以及新颖的时间和上下文对比模块，生成的表示使线性分类器的性能达到可与监督模型相当的水平，且在少样本和迁移学习方面表现出色。

ABSTRACT

Learning decent representations from unlabeled time-series data with temporal dynamics is a very challenging task. In this paper, we propose an unsupervised Time-Series representation learning framework via Temporal and Contextual Contrasting (TS-TCC), to learn time-series representation from unlabeled data. First, the raw time-series data are transformed into two different yet correlated views by using weak and strong augmentations. Second, we propose a novel temporal contrasting module to learn robust temporal representations by designing a tough cross-view prediction task. Last, to further learn discriminative representations, we propose a contextual contrasting module built upon the contexts from the temporal contrasting module. It attempts to maximize the similarity among different contexts of the same sample while minimizing similarity among contexts of different samples. Experiments have been carried out on three real-world time-series datasets. The results manifest that training a linear classifier on top of the features learned by our proposed TS-TCC performs comparably with the supervised training. Additionally, our proposed TS-TCC shows high efficiency in few-labeled data and transfer learning scenarios. The code is publicly available at https://github.com/emadeldeen24/TS-TCC.

研究动机与目标

• 在具有时间动态的未标注时间序列数据上学习有意义的表示。
• 开发两种相关增强（弱和强）以创建对比学习的多样视图。
• 引入一个时间对比模块，结合跨视图预测以捕捉鲁棒的时序依赖。
• 增加一个上下文对比模块，以增强学习表示的判别能力。
• 在多种真实世界时间序列任务与迁移场景中证明其有效性。

提出的方法

• 通过时间序列特定的增强（置换-抖动、抖动-尺度）创建两个视图 x^s（强）和 x^w（弱）。
• 用一个三块卷积神经网络 (CNN) 编码器对视图进行编码，以获得每个时间步的潜在表示 z_t。
• 时间对比（TC）：使用自回归变换器从过去的 z 预测未来 z，跨视图（c_t^s 预测 z_{t+k}^w，c_t^w 预测 z_{t+k}^s）。
• 使用一个共享的 W_k 将上下文映射到特征空间，利用对数双线性跨视图预测计算 TC 损失 L_TC^s 和 L_TC^w。
• 上下文对比（CC）：对上下文应用一个非线性投影，然后在同一样本的跨视图上下文之间最大化一致性，同时使用对比损失最小化与其他样本的相似性（负样本）。
• 将损失组合为 L = λ1*(L_TC^s + L_TC^w) + λ2*L_CC，在 PyTorch 中使用基于 Transformer 的自回归模型端到端训练。

实验结果

研究问题

• RQ1 无监督的 TS-TCC 是否能够从未标注的时间序列数据中学习出在使用线性分类器时与监督训练相竞争的表示？
• RQ2 时间跨视图预测和上下文对比是否能提升表示质量和跨不同时间序列领域的迁移能力？
• RQ3 时间序列特定增强和双视图如何影响在 HAR、睡眠分期、癫痫预测和故障诊断等下游任务的性能？
• RQ4 少样本标注数据和迁移学习对 TS-TCC 效果的影响如何？

主要发现

• TS-TCC 在 HAR、Sleep-EDF、Epilepsy 和 Fault Diagnosis 数据集上，线性评估的表现与监督训练相竞争甚至优于监督训练。
• 在少样本和迁移学习场景中，当标记数据稀缺时，TS-TCC 显著优于监督基线，并提升跨领域的可迁移性。
• 消融研究表明跨视图时间预测与上下文对比都贡献于性能提升，在同时使用两种增强时获得更强的增益。
• 时间特征（通过跨视图预测）尤其有益，所提增强优于单一增强设置。
• TS-TCC 在跨域故障诊断中表现出强劲的迁移能力，在多数测试场景中超越监督预训练。
• 总体而言，线性分类器在 TS-TCC 特征上的表现接近甚至达到监督性能，证实了无监督表示学习的有效性。