[论文解读] Unsupervised Scalable Representation Learning for Multivariate Time Series

Jean-Yves Franceschi, Aymeric Dieuleveut+1 more|arXiv (Cornell University)|Jan 30, 2019

Time Series Analysis and Forecasting参考文献 40被引用 187

一句话总结

定义一种可扩展的无监督方法，使用因果扩张卷积编码器和基于时间的三元组损失及负采样来学习多变量时间序列的通用嵌入。

ABSTRACT

Time series constitute a challenging data type for machine learning algorithms, due to their highly variable lengths and sparse labeling in practice. In this paper, we tackle this challenge by proposing an unsupervised method to learn universal embeddings of time series. Unlike previous works, it is scalable with respect to their length and we demonstrate the quality, transferability and practicability of the learned representations with thorough experiments and comparisons. To this end, we combine an encoder based on causal dilated convolutions with a novel triplet loss employing time-based negative sampling, obtaining general-purpose representations for variable length and multivariate time series.

研究动机与目标

• 开发一种通用的无监督表示学习方法，用于多变量时间序列，能够处理变长输入并具备可扩展性。
• 在无监督条件下，从变长输入中学习固定长度的嵌入。
• 展示表示在不同数据集和任务中的普遍性和可迁移性。
• 展示在分类与回归等任务中的适用性，包括长序列和标签稀疏的情形。

提出的方法

• 使用基于因果扩张卷积堆叠的编码器，将变长时间序列映射到固定长度的嵌入。
• 引入受 word2vec 启发的基于时间的三元组损失与负采样，用于在无标签情况下学习子序列之间的相似性。
• 通过全局最大池化和线性投影，训练无解码器的编码器以输出固定长度向量。
• 通过在一系列子序列长度上进行训练，使输入具有变化长度，从而产生可迁移的表示。
• 提供一个高效的训练过程，复杂度为 O(K * c(f))，聚焦于逐项反向传播以节省内存。
• 通过在嵌入上训练简单分类器（如 SVM）并进行迁移实验来评估表示。

实验结果

研究问题

• RQ1 可否通过对可扩展的编码器进行无监督训练来生成多变量时间序列的通用、可迁移表示？
• RQ2 基于时间的三元组损失与负采样是否能够在无标签条件下有效区分相似与不相似的子序列？
• RQ3 来自变长时间序列的固定长度嵌入对下游任务（如分类与回归）在不同数据集上是否有用？
• RQ4 在标准时间序列基准测试上，所提方法与其他无监督和有监督方法相比如何？
• RQ5 表示是否能够扩展到长时间序列和多变量数据，同时保持高效？

主要发现

• 该方法产生高质量且可跨数据集迁移的表示。
• 在若干 UCR 数据集上超过其他同时期的无监督方法，在某些设置下接近最先进的有监督方法。
• 表示使得稀疏标签学习更为有效，在标签稀缺时往往超过完全监督基线。
• 学习到的嵌入对非分类任务如对长时间序列的回归等也有用。
• 通过调整第一层，编码器可以处理多变量输入，并在 UEA 多变量档案上取得有竞争力的结果。
• 在一个长的真实世界时间序列上，表示在推理时显著减少数据量，同时预测性能的损失很小。