[论文解读] TimeNet: Pre-trained deep recurrent neural network for time series classification

Pankaj Malhotra, Vishnu Tv+3 more|arXiv (Cornell University)|Jun 23, 2017

Time Series Analysis and Forecasting参考文献 21被引用 113

一句话总结

TimeNet 训练一个无监督序列自编码器，从变长时间序列生成定长嵌入，并将编码器用作时间序列分类的通用即取即用特征提取器，在许多 UCR 数据集上超越领域特定编码器和基于 DTW 的方法。

ABSTRACT

Inspired by the tremendous success of deep Convolutional Neural Networks as generic feature extractors for images, we propose TimeNet: a deep recurrent neural network (RNN) trained on diverse time series in an unsupervised manner using sequence to sequence (seq2seq) models to extract features from time series. Rather than relying on data from the problem domain, TimeNet attempts to generalize time series representation across domains by ingesting time series from several domains simultaneously. Once trained, TimeNet can be used as a generic off-the-shelf feature extractor for time series. The representations or embeddings given by a pre-trained TimeNet are found to be useful for time series classification (TSC). For several publicly available datasets from UCR TSC Archive and an industrial telematics sensor data from vehicles, we observe that a classifier learned over the TimeNet embeddings yields significantly better performance compared to (i) a classifier learned over the embeddings given by a domain-specific RNN, as well as (ii) a nearest neighbor classifier based on Dynamic Time Warping.

研究动机与目标

• 为时间序列学习通用、无标签的表示，作为现成可用的特征。
• 提出一个带多层 GRU 编码器的序列到序列自编码器，作为 TimeNet。
• 证明 TimeNet 嵌入在分类性能上优于领域特定的编码器和基于 DTW 的方法。
• 通过可视化（t-SNE）展示嵌入的鲁棒性和良好分离。
• 在多样化的 UCR 数据集和一个工业遥测数据集上评估性能。

提出的方法

• 使用带 dropout 的多层 GRU 的序列到序列自编码器对时间序列进行编码。
• 在来自18个训练数据集（T ≤ 512）的多样无标签时间序列上进行训练，以从编码器的最终状态学习固定维度的嵌入。
• 冻结训练好的编码器以形成 TimeNet，即通用的时间序列特征提取器。
• 将 TimeNet 的嵌入（TN-C）与领域特定 SAE 编码器的嵌入（SAE-C）以及基于 DTW 的最近邻分类器（DTW-C）进行比较。
• 在嵌入上训练带 RBF 核的非线性 SVM。
• 用 t-SNE 可视化分析嵌入质量。

实验结果

研究问题

• RQ1 多层 RNN 在多样化的无标签时间序列上是否可以作为通用的时间序列特征提取器？
• RQ2 TimeNet 的嵌入在 unseen 数据集上是否优于领域特定编码器和 DTW 基分类器？
• RQ3 当标注数据较少时，TimeNet 嵌入是否鲁棒？
• RQ4 TimeNet 嵌入在跨数据集及数据集内是否形成良好分离的簇？

主要发现

• TimeNet 嵌入在83%的测试数据集上达到与领域特定 SAE 嵌入相当或更好的分类性能，在83%也超过 DTW-C。
• TimeNet 分类器在25/30 数据集上优于 DTW-C，在22/30 数据集上超过 SAE-C；TimeNet 在18/30 数据集上也超过 SAE-C。
• 使用三分之二的带标签数据，TN-C 仍在 20/30 数据集上击败 DTW-C，表明在监督减少时的鲁棒性。
• TimeNet 的嵌入在 t-SNE 可视化中显示不同类别和领域的时间序列形成良好分离的簇。
• 层分析表明较短的时间序列可能依赖于单一 TimeNet 层，而较长的序列则受益于跨层的信息。