[论文解读] Towards a universal neural network encoder for time series

Joan Serrà, Santiago Pascual+1 more|arXiv (Cornell University)|May 10, 2018

Time Series Analysis and Forecasting参考文献 28被引用 89

一句话总结

一个带时间维度注意力机制的卷积时间序列编码器能够学习固定长度的表示，并能泛化到未见数据类型，从而在最少适应的情况下实现有竞争力的分类。预训练编码器提供紧凑、快速的表示，可与简单分类器一起使用。

ABSTRACT

We study the use of a time series encoder to learn representations that are useful on data set types with which it has not been trained on. The encoder is formed of a convolutional neural network whose temporal output is summarized by a convolutional attention mechanism. This way, we obtain a compact, fixed-length representation from longer, variable-length time series. We evaluate the performance of the proposed approach on a well-known time series classification benchmark, considering full adaptation, partial adaptation, and no adaptation of the encoder to the new data type. Results show that such strategies are competitive with the state-of-the-art, often outperforming conceptually-matching approaches. Besides accuracy scores, the facility of adaptation and the efficiency of pre-trained encoders make them an appealing option for the processing of scarcely- or non-labeled time series.

研究动机与目标

• 为变长且标注稀缺的时间序列进行表示学习提供动机。
• 开发一个在不进行完全再训练的情况下对未见数据类型具有泛化能力的通用编码器。
• 评估适应策略：无适应、部分适应和完全适应。
• 评估表示大小、准确性和效率之间的权衡。
• 在大型时间序列基准上，将编码器方法与最先进的基线进行比较。

提出的方法

• 一个基于 CNN 的编码器，包含三个卷积块和两个二因素最大池化层。
• 通过时间维度的 softmax，对一半的卷积核应用注意力机制，以生成固定长度的表示。
• 采用实例归一化和 PReLU 激活以稳定训练。
• 最后的全连接层用于产生一个 k 维表示。
• 训练时使用多头训练，针对每个数据集的分类头将表示映射到标签。
• 在不同适应情景下进行评估：无适应（基于表示的 1NN）、映射适应（LR/SVM）和完全适应（对编码器进行微调）。

实验结果

研究问题

• RQ1 在多个数据集上训练的通用时间序列编码器是否能够在不进行显著适应的情况下对未见数据类型进行泛化？
• RQ2 在将表示迁移到新的时间序列数据集时，不同的适应策略如何影响准确性？
• RQ3 在不同适应模式下，表示大小 (k) 对性能有何影响？
• RQ4 基于编码器的表示在 UEA/UCR 基准测试上是否达到与最先进基线相当的性能？
• RQ5 所学表示是否对简单分类器如 1NN、LR 和 SVM 有用？

主要发现

• 基于编码器的表示结合 1NN、LR 或 SVM 与传统的基于距离的基线相比具有竞争力，甚至优于它们。
• 对编码器进行适应（ADAPT）可获得与最先进方法相竞争的性能，常常接近甚至超过若干基线。
• 预训练的编码器（Encoder-NEW）在目标任务上优于从头开始在目标任务上训练的编码器（Encoder-N EW）。
• 较小的固定表示（k）在无适应和映射适应时表现不佳，但在完全适应时影响有限。
• Encoder-ADAPT 和 Encoder-NEW 在减少训练复杂度的同时，提供了与 COTE 和 HIVE-COTE 等集成基线相当甚至更强的性能。
• 表示大小：在完全适应下增加 k 未带来稳定的增益，但在无适应时较大的 k 有帮助。