[论文解读] Proximity Forest 2.0: A new effective and scalable similarity-based classifier for time series

Matthieu Herrmann, Chang Wei Tan+2 more|arXiv (Cornell University)|Apr 12, 2023

Time Series Analysis and Forecasting被引用 4

一句话总结

Proximity Forest 2.0 (PF 2.0) 是一种新型的、更快的、更准确的基于相似度的时间序列分类器，集成了三项近期进展：用于高效弹性相似度计算的早期放弃与剪枝技术、新颖的惩罚性动态时间规整（ADTW）度量方法，以及代价函数调优。它在 UCR 基准测试中优于所有先前的基于相似度的方法，并在最适合基于相似度学习的数据集（如 SmoothSubspace）上超越了最先进的核方法、神经网络模型和混合模型。

ABSTRACT

Time series classification (TSC) is a challenging task due to the diversity of types of feature that may be relevant for different classification tasks, including trends, variance, frequency, magnitude, and various patterns. To address this challenge, several alternative classes of approach have been developed, including similarity-based, features and intervals, shapelets, dictionary, kernel, neural network, and hybrid approaches. While kernel, neural network, and hybrid approaches perform well overall, some specialized approaches are better suited for specific tasks. In this paper, we propose a new similarity-based classifier, Proximity Forest version 2.0 (PF 2.0), which outperforms previous state-of-the-art similarity-based classifiers across the UCR benchmark and outperforms state-of-the-art kernel, neural network, and hybrid methods on specific datasets in the benchmark that are best addressed by similarity-base methods. PF 2.0 incorporates three recent advances in time series similarity measures -- (1) computationally efficient early abandoning and pruning to speedup elastic similarity computations; (2) a new elastic similarity measure, Amerced Dynamic Time Warping (ADTW); and (3) cost function tuning. It rationalizes the set of similarity measures employed, reducing the eight base measures of the original PF to three and using the first derivative transform with all similarity measures, rather than a limited subset. We have implemented both PF 1.0 and PF 2.0 in a single C++ framework, making the PF framework more efficient.

研究动机与目标

• 开发一种更高效、更具可扩展性的基于相似度的时间序列分类器，使其在多样化的 UCR 基准数据集上优于现有方法。
• 将时间序列相似度度量领域的最新进展——特别是早期放弃、ADTW 和代价函数调优——整合到统一框架中。
• 合理化所使用的相似度度量集合，通过仅保留三种核心度量（ADTW、cDTW 和 LCSS），每种均结合一阶导数变换，以减少冗余并提升泛化能力。
• 证明所提出的相似度度量集合不仅提升了 PF 2.0 的性能，还可用于增强其他基于相似度的模型（如弹性集成模型）。
• 通过在单一高性能 C++ 框架中实现 PF 1.0 和 PF 2.0，提升计算效率，实现两者之间的公平计算比较。

提出的方法

• 提出惩罚性动态时间规整（ADTW），一种新型弹性相似度度量方法，可提升时间序列匹配中的鲁棒性与准确性。
• 应用计算高效的早期放弃与剪枝技术，加速基于 DTW 的相似度计算，尤其适用于 DTW 类度量。
• 对 DTW 类度量采用代价函数调优，通过优化扭曲惩罚和对齐代价等参数，提升分类性能。
• 在三种核心相似度度量（ADTW、cDTW、LCSS）中均使用一阶导数变换，增强对形状与趋势模式的敏感度。
• 将 PF 1.0 中的八种基础相似度度量精简为三种（ADTW、cDTW、LCSS），消除冗余或效果较差的度量。
• 在单一高性能 C++ 库中实现整个框架，显著提升运行速度，并支持 PF 1.0 与 PF 2.0 之间的公平计算比较。

实验结果

研究问题

• RQ1 通过整合时间序列相似度度量领域的最新进展，能否显著提升基于相似度分类器的速度与准确性？
• RQ2 与使用更大、冗余度更高的度量集合相比，采用精简且合理的相似度度量集合是否能提升泛化能力并避免过拟合？
• RQ3 代价函数调优与早期放弃在基于相似度的时间序列分类中，能在多大程度上提升性能与效率？
• RQ4 所提出的相似度度量集合（ADTW、cDTW、LCSS）是否可被复用于提升 PF 2.0 以外的其他基于相似度的模型？
• RQ5 PF 2.0 是否不仅能超越先前的基于相似度方法，还能在相似度方法最有效的数据集上超越最先进的核方法、神经网络模型和混合模型？

主要发现

• 在 SmoothSubspace 数据集上，PF 2.0 的误差显著低于所有其他最先进方法，该数据集是基于相似度方法占主导地位的基准。
• 在包含 109 个数据集的完整 UCR 基准测试中，PF 2.0 超过了所有先前的基于相似度分类器，包括 PF 1.0 和弹性集成模型的变体。
• 在 UCR 基准测试中，PF 2.0 是最准确且最快基于相似度的 TSC 算法，相较于 PF 1.0 具有显著性能优势。
• 代价函数调优显著提升了所有 DTW 类度量的性能，EE+ 和 PF+ 的准确率高于其未调优的对应版本。
• 在弹性集成模型中，使用一阶导数变换的三种新度量（ADTW、cDTW、LCSS）替代原始度量后，显著提升了其速度与准确率。
• PF 2.0 的 C++ 实现降低了计算开销，支持与 PF 1.0 的公平高效比较，相较于之前的 Java 实现，展现出显著的速度提升。