[论文解读] Universal Time-Series Representation Learning: A Survey

Patara Trirat, Yooju Shin+7 more|arXiv (Cornell University)|Jan 8, 2024

Time Series Analysis and Forecasting被引用 4

一句话总结

本综述提出了一种基于三种核心设计要素——神经架构、学习目标和训练数据——的通用时间序列表征学习新分类法。它全面回顾了最先进方法，分析了其对表征质量的贡献，并提供了关于数据集、实验设置和未来研究方向的实用指南，尤其关注不规则时间序列和多模态学习。

ABSTRACT

Time-series data exists in every corner of real-world systems and services, ranging from satellites in the sky to wearable devices on human bodies. Learning representations by extracting and inferring valuable information from these time series is crucial for understanding the complex dynamics of particular phenomena and enabling informed decisions. With the learned representations, we can perform numerous downstream analyses more effectively. Among several approaches, deep learning has demonstrated remarkable performance in extracting hidden patterns and features from time-series data without manual feature engineering. This survey first presents a novel taxonomy based on three fundamental elements in designing state-of-the-art universal representation learning methods for time series. According to the proposed taxonomy, we comprehensively review existing studies and discuss their intuitions and insights into how these methods enhance the quality of learned representations. Finally, as a guideline for future studies, we summarize commonly used experimental setups and datasets and discuss several promising research directions. An up-to-date corresponding resource is available at https://github.com/itouchz/awesome-deep-time-series-representations.

研究动机与目标

• 为应对金融、医疗保健和物联网等多样化领域中对高效、可泛化的时间序列表征学习日益增长的需求。
• 识别并系统化驱动表征学习性能的关键设计要素——神经架构、学习目标和训练数据。
• 提供对最先进方法的结构化、最新综述，突出每种方法如何提升表征质量。
• 提供下游任务中标准实验设置和常用时间序列数据集的实用指南。
• 识别尚未充分探索的领域和新兴研究方向，包括以数据为中心的方法和结合人类语言的多模态学习。

提出的方法

• 基于三个基本设计要素——神经架构、学习目标和训练数据——提出包含15种子类别的新颖分类法。
• 根据其架构选择对近期方法进行回顾与分类，包括用于处理不规则时间序列的RNN、CNN、Transformer、GNN和Neural ODE。
• 分析自监督和对比学习目标，如实例判别、掩码自编码器和对比预测任务。
• 研究以数据为中心的技术，包括数据增强、样本选择和课程学习，以提升表征质量。
• 整合多模态和多视角学习的见解，提出将语言作为补充模态以获得更丰富的语义表征。
• 通过集成Neural ODE和连续时间建模，评估模型对不规则采样的鲁棒性。

Figure 1 . Basic concept of time-series representation methods.

实验结果

研究问题

• RQ1 不同的神经架构在时间序列表征质量方面发挥何种作用？
• RQ2 自监督学习目标在提升泛化能力和下游性能方面起到什么作用？
• RQ3 以数据为中心的技术（如数据增强和样本选择）如何增强表征学习？
• RQ4 在表示不规则采样时间序列时面临的主要挑战是什么？现代方法如何应对？
• RQ5 多模态和多视角时间序列表征学习的有前景未来方向有哪些？

主要发现

• 所提出的分类法通过其设计选择有效组织了150余项近期研究，揭示了大多数最先进方法结合了多个元素，但通常仅有一到两个是新颖的。
• 以数据为中心的方法——尤其是分解、变换和样本选择技术——尽管具有提升表征质量的潜力，但仍未得到充分探索。
• Neural ODE和连续时间建模在处理不规则时间序列方面展现出前景，尽管训练不稳定性与可微性约束仍是挑战。
• 自监督对比学习和掩码自编码器是主导的学习目标，显著提升了在预测、分类和异常检测等下游任务中的性能。
• 利用人类语言作为模态的多模态学习可丰富表征，尤其在活动识别和异常检测方面，但大规模时间序列-文本数据集仍显不足。
• 标准化的实验设置和广泛使用的基准数据集（如UCR、UEA、ECG、EHR）被确认为实现研究可复现性和公平比较的关键要素。

Figure 2 . Key design elements and downstream evaluation protocols.