[论文解读] Random Warping Series: A Random Features Method for Time-Series Embedding

Lingfei Wu, Ian En-Hsu Yen+4 more|arXiv (Cornell University)|Sep 14, 2018

Time Series Analysis and Forecasting参考文献 2被引用 31

一句话总结

本文提出随机扭曲序列（RWS），一种基于随机特征的方法，通过将时间序列与随机序列进行动态时间规整（DTW）变换，生成显式的向量嵌入，从而实现高效、可扩展的基于核的机器学习。RWS通过将计算复杂度从样本数和序列长度的二次方降低至线性，实现了比现有基于DTW的方法快达数量级的加速，同时保持了最先进水平的准确率。

ABSTRACT

Time series data analytics has been a problem of substantial interests for decades, and Dynamic Time Warping (DTW) has been the most widely adopted technique to measure dissimilarity between time series. A number of global-alignment kernels have since been proposed in the spirit of DTW to extend its use to kernel-based estimation method such as support vector machine. However, those kernels suffer from diagonal dominance of the Gram matrix and a quadratic complexity w.r.t. the sample size. In this work, we study a family of alignment-aware positive definite (p.d.) kernels, with its feature embedding given by a distribution of \\emph{Random Warping Series (RWS)}. The proposed kernel does not suffer from the issue of diagonal dominance while naturally enjoys a \\emph{Random Features} (RF) approximation, which reduces the computational complexity of existing DTW-based techniques from quadratic to linear in terms of both the number and the length of time-series. We also study the convergence of the RF approximation for the domain of time series of unbounded length. Our extensive experiments on 16 benchmark datasets demonstrate that RWS outperforms or matches state-of-the-art classification and clustering methods in both accuracy and computational time. Our code and data is available at { \\url{https://github.com/IBM/RandomWarpingSeries}}.

研究动机与目标

• 解决基于DTW的全局对齐核在时间序列学习中计算复杂度高和对角主导性问题。
• 为时间序列开发一种支持高效随机特征近似的正定核。
• 在保持或提升准确率的同时，实现大规模时间序列分类与聚类的线性时间计算。
• 将随机特征理论扩展至处理长度无界的时序数据。
• 提供一种可扩展、可并行化的框架，支持DTW以外的灵活弹性距离度量。

提出的方法

• 通过计算输入时间序列与随机扭曲序列分布之间的DTW，构建一组正定核。
• 采用R个随机扭曲序列的随机特征近似，将核计算线性化，将复杂度从O(N²L²)降低至O(NRL)。
• 特征映射定义为每个时间序列与从指定分布p(ω)中独立抽取的R个随机序列之间的DTW值。
• 理论证明，当R = Ω(1/ε²)时，该核近似能以ε精度一致收敛至精确核。
• 该框架具有可扩展性，可适配其他弹性距离度量，如CID和DTDC。
• 该方法完全可并行化，并与SVM和K均值聚类等标准核方法兼容。

实验结果

研究问题

• RQ1 基于DTW的核的随机特征近似是否能在时间序列学习中同时实现高准确率和线性计算复杂度？
• RQ2 所提出的RWS方法是否缓解了全局对齐核固有的对角主导性问题？
• RQ3 对于长度无界的时序数据，随机特征近似是否能一致收敛至精确核？
• RQ4 在准确率和运行时间方面，RWS与最先进的时间序列分类与聚类方法相比表现如何？
• RQ5 RWS框架是否可通过调节秩R实现准确率与计算效率之间的权衡？

主要发现

• 在16个基准数据集上，RWS在分类和聚类准确率方面始终优于或匹配最先进方法。
• RWS(SR)采用较小秩R时，准确率与1NN-DTW和1NN-DTW opt相当或更优，且显著更快。
• RWS(LR)采用较大秩时，在16个数据集中的11个上优于DTWF和TGAK，且加速达一到两个数量级。
• RWS将计算复杂度从O(N²L²)降低至O(NRL)，内存使用从O(NL + N²)降低至O(NR)，从而实现大规模数据集的可扩展性。
• 在聚类任务中，RWS在准确率和运行时间上均优于KMeans-DTW和CLDS，并在8个数据集上对K-Shape实现5胜1平2负，效率更优。
• 理论分析表明，即使对于长度无界的时序数据，R = Ω(1/ε²)个随机序列也足以实现以ε精度一致收敛至精确核。