[论文解读] Self-supervised Contrastive Representation Learning for Semi-supervised Time-Series Classification

Emadeldeen Eldele, Mohamed Ragab+5 more|arXiv (Cornell University)|Aug 13, 2022

Time Series Analysis and Forecasting被引用 7

一句话总结

本文提出TS-TCC，一种用于时间序列分类的自监督对比学习框架，通过使用时间序列特定的弱增强和强增强方法，学习鲁棒的时间与上下文表征。该方法进一步扩展为CA-TCC，用于半监督学习，利用伪标签在极少标注数据下提升性能，在1%标签预算下即可实现接近全监督的准确率。

ABSTRACT

Learning time-series representations when only unlabeled data or few labeled samples are available can be a challenging task. Recently, contrastive self-supervised learning has shown great improvement in extracting useful representations from unlabeled data via contrasting different augmented views of data. In this work, we propose a novel Time-Series representation learning framework via Temporal and Contextual Contrasting (TS-TCC) that learns representations from unlabeled data with contrastive learning. Specifically, we propose time-series-specific weak and strong augmentations and use their views to learn robust temporal relations in the proposed temporal contrasting module, besides learning discriminative representations by our proposed contextual contrasting module. Additionally, we conduct a systematic study of time-series data augmentation selection, which is a key part of contrastive learning. We also extend TS-TCC to the semi-supervised learning settings and propose a Class-Aware TS-TCC (CA-TCC) that benefits from the available few labeled data to further improve representations learned by TS-TCC. Specifically, we leverage the robust pseudo labels produced by TS-TCC to realize a class-aware contrastive loss. Extensive experiments show that the linear evaluation of the features learned by our proposed framework performs comparably with the fully supervised training. Additionally, our framework shows high efficiency in the few labeled data and transfer learning scenarios. The code is publicly available at \url{https://github.com/emadeldeen24/CA-TCC}.

研究动机与目标

• 解决现实应用中时间序列数据标注有限的问题，如医疗健康与物联网领域。
• 开发一种自监督框架，利用对比学习从无标注时间序列数据中学习判别性表征。
• 设计适用于时间序列的特定数据增强方法，在保留时间结构的同时支持有效的对比学习。
• 通过引入类别感知对比损失，将自监督框架扩展至半监督学习，利用少量标注样本提升性能。
• 在低标签与迁移学习设置下，提升所学表征的可迁移性与效率。

提出的方法

• 提出TS-TCC，一种利用时间与上下文对比模块的对比表示学习框架，用于无标注时间序列数据。
• 设计适用于时间序列的弱增强（如缩放、时间偏移）与强增强（如抖动、排列）方法，以保留时间依赖性。
• 实现时间对比模块，通过对比弱增强与强增强视图，学习鲁棒的时间表征。
• 引入上下文对比模块，通过对比同一样本的不同增强视图，学习判别性表征。
• 通过利用TS-TCC生成的鲁棒伪标签，在半监督设置下训练类别感知对比损失，将TS-TCC扩展为CA-TCC。
• 将时间序列信号归一化至0到1之间，以统一不同数据集的增强参数，提升泛化能力。

实验结果

研究问题

• RQ1 不同的数据增强策略如何影响时间序列表示学习中对比学习的性能？
• RQ2 自监督对比框架是否能在极少量标注数据下实现与全监督训练相当的性能？
• RQ3 如何在半监督设置中有效利用自监督模型生成的伪标签来改进表示学习？
• RQ4 在多样化数据集中，时间序列对比学习中弱增强与强增强的最优配置是什么？
• RQ5 所学表征在多大程度上能泛化至迁移学习与低标签场景？

主要发现

• 当一视图使用弱增强、另一视图使用强增强时，TS-TCC在线性评估中达到77.58%的准确率，优于仅使用弱增强或仅使用强增强的配置。
• 仅使用10%的标注数据时，TS-TCC特征的线性探测性能已与全监督训练相当。
• CA-TCC在仅1%标注数据下进一步提升了性能，证明了其在低监督场景下的强大泛化能力。
• 将抖动用于时间偏移或缩放作为弱增强，结合强增强（如抖动+排列），分别获得74.69%与72.35%的准确率。
• 系统的消融研究证实，将弱增强与强增强分别应用于不同视图可获得最佳性能，最优参数配置为弱增强的抖动范围在[0, 0.1]，强增强的抖动范围在[0.1, 1]。
• 该框架展现出强大的可迁移性，在多个时间序列数据集的迁移学习场景中均提升了性能。