[论文解读] Sparsification of the Alignment Path Search Space in Dynamic Time Warping

Saeid Soheily-Khah, Pierre-François Marteau|arXiv (Cornell University)|Nov 13, 2017

Time Series Analysis and Forecasting参考文献 29被引用 15

一句话总结

该论文提出了 SP-DTW 和 SP-Krdtw，这两种新颖的（不）相似性度量方法，通过从最优对齐中学习路径权重并应用阈值以减少计算量，对动态时间规整（DTW）中的对齐路径搜索空间进行稀疏化。该方法在多个 UCR 数据集上使用 1-NN 和 SVM 分类器时，平均实现了 89.9% 的加速，且精度损失极小，显著优于 Sakoe-Chiba 带方法在速度和精度方面的表现。

ABSTRACT

Temporal data are naturally everywhere, especially in the digital era that sees the advent of big data and internet of things. One major challenge that arises during temporal data analysis and mining is the comparison of time series or sequences, which requires to determine a proper distance or (dis)similarity measure. In this context, the Dynamic Time Warping (DTW) has enjoyed success in many domains, due to its 'temporal elasticity', a property particularly useful when matching temporal data. Unfortunately this dissimilarity measure suffers from a quadratic computational cost, which prohibits its use for large scale applications. This work addresses the sparsification of the alignment path search space for DTW-like measures, essentially to lower their computational cost without loosing on the quality of the measure. As a result of our sparsification approach, two new (dis)similarity measures, namely SP-DTW (Sparsified-Paths search space DTW) and its kernelization SP-K rdtw (Sparsified-Paths search space K rdtw kernel) are proposed for time series comparison. A wide range of public datasets is used to evaluate the efficiency (estimated in term of speed-up ratio and classification accuracy) of the proposed (dis)similarity measures on the 1-Nearest Neighbor (1-NN) and the Support Vector Machine (SVM) classification algorithms. Our experiment shows that our proposed measures provide a significant speed-up without loosing on accuracy. Furthermore, at the cost of a slight reduction of the speedup they significantly outperform on the accuracy criteria the old but well known Sakoe-Chiba approach that reduces the DTW path search space using a symmetric corridor.

研究动机与目标

• 为解决动态时间规整（DTW）的高计算成本问题，其时间复杂度随序列长度呈二次方增长，限制了其在大规模时间序列数据应用中的使用。
• 通过减少对齐过程中探索的网格单元数量，提高类似 DTW 方法的效率，同时不牺牲分类精度。
• 开发一种可学习的、数据驱动的稀疏化方法，基于最优对齐中路径的频率和权重，识别并保留最相关的对齐路径。
• 提出一种核化变体 SP-Krdtw，实现核基分类器（如 SVM）中高效相似性计算。
• 在多样化的现实世界时间序列数据集上，通过实证验证所提度量方法相对于最先进稀疏化技术（特别是 Sakoe-Chiba 带）的性能。

提出的方法

• 该方法从训练集中最优对齐路径中学习路径权重，对所有成对比较中频繁使用的网格单元赋予更高的权重。
• 对学习到的权重应用阈值以实现搜索空间的稀疏化，仅保留最重要的对齐路径，舍弃低权重单元。
• 由此产生的 SP-DTW 度量仅在剪枝后的高权重网格单元上计算 DTW，大幅减少访问的单元数量。
• 核化版本 SP-Krdtw 通过在核矩阵计算中应用相同的阈值化策略，将此稀疏化扩展至核化 DTW（Krdtw）。
• 该稀疏化方法为数据驱动且自适应，依赖于最优对齐中单元使用频率，而非像 Sakoe-Chiba 带那样的固定几何约束。
• 该方法在 30 多个公开的 UCR 数据集上，使用 1-最近邻（1-NN）和支持向量机（SVM）分类器进行评估。

实验结果

研究问题

• RQ1 基于数据驱动的、可学习的 DTW 对齐路径搜索空间稀疏化方法，能否在显著降低计算成本的同时保持分类精度？
• RQ2 在多种时间序列数据集上，SP-DTW 的性能与 Sakoe-Chiba 带方法相比，在加速比和精度方面如何？
• RQ3 该稀疏化技术能否有效应用于核化，以加速 SVM 分类中的核化 DTW（Krdtw）？
• RQ4 在 SP-DTW 和 SP-Krdtw 中，改变稀疏化阈值时，加速比与精度之间的权衡如何？
• RQ5 所提出的方法是否在计算效率和分类性能两方面均优于现有的最先进稀疏化技术？

主要发现

• 在 30 个 UCR 数据集上，所提出的 SP-DTW 和 SP-Krdtw 度量方法平均分别实现了 82.6% 和 82.3% 的加速，相较于标准 DTW 和 Krdtw。
• 平均而言，SP-DTW 将访问的网格单元数量减少了 82.6%，部分数据集（如 Beef 和 Ham）的减少比例超过 99%。
• 尽管在阈值收紧时加速比略有下降，SP-DTW 在所有测试数据集上的精度显著优于优化后的 Sakoe-Chiba 带方法（DTWsc）。
• SP-Krdtw 在保持与标准 Krdtw 相当精度的同时，显著减少了计算时间，证明了在核化 DTW 中实现稀疏化的可行性。
• 该方法在 1-NN 和 SVM 分类器上均保持了高分类精度，即使在高稀疏化水平下，性能也无显著下降。
• 网格单元占用率的可视化结果表明，SP-DTW 聚焦于最优对齐中最常使用的路径，验证了该方法数据驱动稀疏化策略的有效性。