[论文解读] TimesURL: Self-supervised Contrastive Learning for Universal Time Series Representation Learning

Jiexi Liu, Songcan Chen|arXiv (Cornell University)|Dec 25, 2023

Time Series Analysis and Forecasting被引用 4

一句话总结

TimesURL 提出了一种自监督对比学习框架，用于通用时间序列表征学习，通过引入频域-时域增强（FTAug）、双 Universum（时域与实例级）作为难负样本，并联合优化时间重建任务。该方法在六个下游任务中均达到最先进性能，涵盖预测、填补、分类、异常检测和迁移学习。

ABSTRACT

Learning universal time series representations applicable to various types of downstream tasks is challenging but valuable in real applications. Recently, researchers have attempted to leverage the success of self-supervised contrastive learning (SSCL) in Computer Vision(CV) and Natural Language Processing(NLP) to tackle time series representation. Nevertheless, due to the special temporal characteristics, relying solely on empirical guidance from other domains may be ineffective for time series and difficult to adapt to multiple downstream tasks. To this end, we review three parts involved in SSCL including 1) designing augmentation methods for positive pairs, 2) constructing (hard) negative pairs, and 3) designing SSCL loss. For 1) and 2), we find that unsuitable positive and negative pair construction may introduce inappropriate inductive biases, which neither preserve temporal properties nor provide sufficient discriminative features. For 3), just exploring segment- or instance-level semantics information is not enough for learning universal representation. To remedy the above issues, we propose a novel self-supervised framework named TimesURL. Specifically, we first introduce a frequency-temporal-based augmentation to keep the temporal property unchanged. And then, we construct double Universums as a special kind of hard negative to guide better contrastive learning. Additionally, we introduce time reconstruction as a joint optimization objective with contrastive learning to capture both segment-level and instance-level information. As a result, TimesURL can learn high-quality universal representations and achieve state-of-the-art performance in 6 different downstream tasks, including short- and long-term forecasting, imputation, classification, anomaly detection and transfer learning.

研究动机与目标

• 解决学习适用于多样化下游任务的通用时间序列表征的挑战。
• 克服现有时间序列自监督对比学习方法的局限性，这些方法常因简单数据增强而引入不恰当的归纳偏置。
• 通过引入针对时间结构定制的高质量难负样本，提升对比学习性能。
• 同时捕捉片段级与实例级语义，以实现任务无关的预训练，支持多任务泛化。
• 开发一个统一框架，联合优化对比学习与时间重建，实现更丰富的表征学习。

提出的方法

• 提出 FTAug（频域-时域增强），结合裁剪与频域混合，以保留时间与频谱特性。
• 引入双 Universum——分别构建的时域与实例级 Universum——作为难负样本形式，以增强判别性学习。
• 采用双对比学习机制（DualCon），融合两类 Universum 的表征，以提升特征判别能力。
• 将时间重建作为与对比学习联合优化的目标，以捕捉细粒度（片段级）与粗粒度（实例级）语义。
• 使用标准编码器主干网络从增强时间序列中提取表征，随后通过对比学习头与重建头进行处理。
• 应用多头对比损失，同时利用 FTAug 生成的正样本对与双 Universum 结构生成的负样本对。

实验结果

研究问题

• RQ1 频域-时域增强是否在保留时间序列时序特性方面优于标准计算机视觉/NLP 风格的增强方法？
• RQ2 通过 Universum 引入任务特定的难负样本，如何提升通用表征学习中的对比学习性能？
• RQ3 与时间重建联合优化在多大程度上提升了不同粒度层级下的表征质量？
• RQ4 单一预训练模型是否能在无需任务特定微调的情况下，在多样化下游任务中实现最先进性能？
• RQ5 各组件（FTAug、双 Universum、重建）对整体性能的相对贡献如何？

主要发现

• TimesURL 在六个下游任务中均达到最先进性能：短时与长时预测、填补、分类、异常检测以及迁移学习。
• 在 Yahoo 和 KPI 异常检测基准上，TimesURL 分别取得 0.750 和 0.688 的 F1 分数，优于先前方法如 TS2Vec（0.745 和 0.677）。
• 消融实验表明，移除任意一个组件——频域混合、实例级 Universum、时域 Universum、双 Universum 或时间重建——在 30 个 UEA 数据集上的平均性能下降 1.8% 至 4.3%。
• 双 Universum 设计显著优于单 Universum 变体，证实同时捕捉时域与实例级判别信号的重要性。
• 迁移学习结果表明，TimesURL 学习到的表征在 CinCECGTorso 上平均准确率达 0.895，在 CBF 上达 0.864，部分情况下优于无迁移基线。
• 对比学习与时间重建的联合优化显著提升泛化能力，表现为所有评估任务性能均得到改善。