[论文解读] Towards a Near Universal Time Series Data Mining Tool: Introducing the Matrix Profile

Chin‐Chia Michael Yeh|arXiv (Cornell University)|Nov 5, 2018

Time Series Analysis and Forecasting参考文献 128被引用 8

一句话总结

本文提出了矩阵轮廓（Matrix Profile），这是一种无需参数、精确且可扩展的数据结构，用于缓存时间序列子序列的所有对相似性搜索结果，从而实现对多种时间序列挖掘任务（如模式发现、异常检测和聚类）的高效统一解决方案，适用于单变量和多变量时间序列。

ABSTRACT

The last decade has seen a flurry of research on all-pairs-similarity-search (or, self-join) for text, DNA, and a handful of other datatypes, and these systems have been applied to many diverse data mining problems. Surprisingly, however, little progress has been made on addressing this problem for time series subsequences. In this thesis, we have introduced a near universal time series data mining tool called matrix profile which solves the all-pairs-similarity-search problem and caches the output in an easy-to-access fashion. The proposed algorithm is not only parameter-free, exact and scalable, but also applicable for both single and multidimensional time series. By building time series data mining methods on top of matrix profile, many time series data mining tasks (e.g., motif discovery, discord discovery, shapelet discovery, semantic segmentation, and clustering) can be efficiently solved. Because the same matrix profile can be shared by a diverse set of time series data mining methods, matrix profile is versatile and computed-once-use-many-times data structure. We demonstrate the utility of matrix profile for many time series data mining problems, including motif discovery, discord discovery, weakly labeled time series classification, and representation learning on domains as diverse as seismology, entomology, music processing, bioinformatics, human activity monitoring, electrical power-demand monitoring, and medicine. We hope the matrix profile is not the end but the beginning of many more time series data mining projects.

研究动机与目标

• 解决时间序列子序列所有对相似性搜索缺乏可扩展、通用工具的问题。
• 开发一种单一、可重用的数据结构，使多种时间序列挖掘任务无需重新计算相似性。
• 确保解决方案精确、无需参数，并适用于单变量和多变量时间序列。
• 在医学、音乐、电力需求和昆虫学等多个领域展示其广泛适用性。
• 通过提供一种多功能、可组合的工具，为未来的时间序列数据挖掘研究奠定基础。

提出的方法

• 提出矩阵轮廓作为一种数据结构，用于存储给定长度的每个子序列与其他所有子序列之间的最小距离。
• 实现STAMP和STOMP算法，利用优化的卷积和滑动窗口技术，高效计算矩阵轮廓。
• 通过多维距离度量，将方法扩展至多维时间序列，使用mSTAMP和mSTOMP算法。
• 将矩阵轮廓作为下游任务（如模式发现、异常检测和聚类）的预计算基础。
• 提出邻域编码器框架，利用基于矩阵轮廓的邻域进行表示学习，提升对噪声的鲁棒性。
• 通过SDTS算法将矩阵轮廓应用于弱标签分类，学习代表性子序列的词典。

实验结果

研究问题

• RQ1 能否设计一种单一、可重用的数据结构，以高效解决多种时间序列挖掘问题？
• RQ2 如何在无需参数调优的情况下，精确且可扩展地计算时间序列子序列的所有对相似性搜索？
• RQ3 在保持可解释性和性能的前提下，矩阵轮廓在多维时间序列上的泛化程度如何？
• RQ4 矩阵轮廓能否作为表示学习和弱监督分类的基础组件？
• RQ5 基于矩阵轮廓的邻域编码器与传统自编码器相比，在鲁棒性和表示质量方面表现如何？

主要发现

• 矩阵轮廓实现了时间序列子序列所有对相似性搜索的精确、无需参数且可扩展的计算，实际时间复杂度为线性。
• STAMP和STOMP算法实现了接近线性的时间性能，并支持即时计算特性，允许显示进度条和增量结果。
• 矩阵轮廓在多种领域成功识别出模式、异常点和形状子序列，包括音乐（如副歌检测）、地震学和人体活动监测。
• 在弱标签分类中，使用基于矩阵轮廓词典的SDTS算法在昆虫EPG和神经科学数据集上均取得高准确率，优于基线方法。
• 邻域编码器框架，尤其是去噪变体，显著优于标准自编码器，在噪声时间序列数据的聚类和分类任务中表现更优。
• 在PAMAP2人体活动数据集上，k-邻域编码器在干净场景下达到调整兰德指数0.4272（去噪版本），在噪声场景下达到0.3948，优于自编码器性能。