[论文解读] Self-Supervised Learning for Time Series Analysis: Taxonomy, Progress, and Prospects

Kexin Zhang, Qingsong Wen+9 more|arXiv (Cornell University)|Jun 16, 2023

Time Series Analysis and Forecasting被引用 18

一句话总结

这项综述回顾了时序数据的最新自监督学习（SSL）方法，提出一个横跨生成、对比和对抗方法的分类法，并给出数据集与未来方向。

ABSTRACT

Self-supervised learning (SSL) has recently achieved impressive performance on various time series tasks. The most prominent advantage of SSL is that it reduces the dependence on labeled data. Based on the pre-training and fine-tuning strategy, even a small amount of labeled data can achieve high performance. Compared with many published self-supervised surveys on computer vision and natural language processing, a comprehensive survey for time series SSL is still missing. To fill this gap, we review current state-of-the-art SSL methods for time series data in this article. To this end, we first comprehensively review existing surveys related to SSL and time series, and then provide a new taxonomy of existing time series SSL methods by summarizing them from three perspectives: generative-based, contrastive-based, and adversarial-based. These methods are further divided into ten subcategories with detailed reviews and discussions about their key intuitions, main frameworks, advantages and disadvantages. To facilitate the experiments and validation of time series SSL methods, we also summarize datasets commonly used in time series forecasting, classification, anomaly detection, and clustering tasks. Finally, we present the future directions of SSL for time series analysis.

研究动机与目标

• 提供对时序数据的 SSL 的全面概述。
• 引入一个新的时序 SSL 方法分类法，覆盖三个视角。
• 总结在时序 SSL 任务（预测、分类、异常检测、聚类）中常用的数据集。
• 讨论时序 SSL 的优点、局限性和未来方向。

提出的方法

• 从三个视角提出时序 SSL 方法的分类法：基于生成、基于对比、基于对抗。
• 将基于生成的方法细分为自回归预测、自编码器重构、扩散生成。
• 将基于对比的方法基于正/负样本生成分为五类：采样、预测、增强、原型、专家知识对比。
• 将基于对抗的方法按任务分类：时序生成/插补和辅助表示提升。
• 回顾数据集与应用，覆盖预测、分类、异常检测、聚类，以促进对 SSL 方法的评估。
• 概述未来研究方向，包括数据增强、样本选择、归纳偏置、理论分析和鲁棒评估。

Figure 1: The proposed taxonomy of SSL for time series data.

实验结果

研究问题

• RQ1 时序数据可应用的主要 SSL 范式及其关键特征是什么？
• RQ2 时序 SSL 方法如何分类，以及在每个类别中有何定义框架？
• RQ3 常用哪些数据集和任务来验证时序 SSL 方法？
• RQ4 时序分析中 SSL 的开放挑战与有前景的方向是什么？

主要发现

• 提出一个新的、详细的时序 SSL 分类法，将方法分为三个主范式下的十个子类别：生成、对比、对抗。
• 基于生成的 SSL 组织为自回归预测、自编码器重构、扩散生成，并讨论其优缺点。
• 基于对比的 SSL 按正/负样本生成分为采样、预测、增强、原型和专家知识对比。
• 基于对抗的 SSL 讨论的目标包括时序生成/插补和辅助表示提升。
• 文章收集并总结在预测、分类、异常检测、聚类任务中常用的时序 SSL 数据集，并讨论应用与数据源。
• 强调未来方向包括数据增强选择、正/负样本策略、归纳偏置、理论分析、对抗鲁棒性、领域自适应，以及大时序模型的预训练。

Figure 2: Learning paradigms of SSL.