[论文解读] Similarity Preserving Representation Learning for Time Series Clustering

Qi Lei, Jinfeng Yi+3 more|arXiv (Cornell University)|Feb 12, 2017

Time Series Analysis and Forecasting参考文献 39被引用 13

一句话总结

本文提出SPIRAL，一种保持相似性的表示学习框架，可将时间序列转换为低维特征向量，同时保留成对相似性，从而实现使用标准算法的高效聚类。通过仅采样O(n log n)对相似性，并使用无参数的循环坐标下降算法进行低秩矩阵分解，SPIRAL在真实世界数据集上实现了最先进精度，且相比现有方法速度提升最高达100倍。

ABSTRACT

A considerable amount of clustering algorithms take instance-feature matrices as their inputs. As such, they cannot directly analyze time series data due to its temporal nature, usually unequal lengths, and complex properties. This is a great pity since many of these algorithms are effective, robust, efficient, and easy to use. In this paper, we bridge this gap by proposing an efficient representation learning framework that is able to convert a set of time series with various lengths to an instance-feature matrix. In particular, we guarantee that the pairwise similarities between time series are well preserved after the transformation, thus the learned feature representation is particularly suitable for the time series clustering task. Given a set of $n$ time series, we first construct an $n imes n$ partially-observed similarity matrix by randomly sampling $\mathcal{O}(n \log n)$ pairs of time series and computing their pairwise similarities. We then propose an efficient algorithm that solves a non-convex and NP-hard problem to learn new features based on the partially-observed similarity matrix. By conducting extensive empirical studies, we show that the proposed framework is more effective, efficient, and flexible, compared to other state-of-the-art time series clustering methods.

研究动机与目标

• 弥合时间序列数据与需要实例-特征矩阵的静态聚类算法之间的差距。
• 解决时间序列聚类中计算完整成对相似性的高计算成本问题。
• 在低维嵌入空间中保留时间序列之间的成对相似性，以提升聚类性能。
• 通过表示学习，使高效、现成的聚类算法（如k-means）能够应用于时间序列数据。
• 开发一种兼容多种时间序列相似性度量（如DTW和MSM）的灵活框架。

提出的方法

• 通过使用DTW或其他相似性度量，随机采样n个时间序列之间的O(n log n)对相似性，构建部分观测的相似性矩阵。
• 将表示学习问题表述为对称矩阵分解：学习一个n×d的特征矩阵X，使得XXT在采样条目上近似于观测到的相似性矩阵。
• 提出一种无参数、精确的循环坐标下降算法，仅利用稀疏观测，高效求解非凸、NP难的矩阵分解问题。
• 利用时间序列相似性矩阵的低秩结构，该结构由矩阵补全的理论结果和共动模式的经验证据所支持。
• 将学习到的d维特征表示作为输入，输入至标准聚类算法（如k-means），实现快速且准确的聚类。
• 通过设计模块化框架，支持多种相似性度量（如DTW、MSM），在嵌入空间中保留其内在特性。

实验结果

研究问题

• RQ1 能否仅从O(n log n)个随机采样条目中，有效学习时间序列相似性矩阵的低秩近似？
• RQ2 无参数、高效的对称矩阵分解算法在稀疏相似性矩阵上，能否生成高质量的特征表示以用于聚类？
• RQ3 所提出的框架是否能使标准聚类算法（如k-means）在准确性和效率上优于专门的时间序列聚类方法？
• RQ4 该框架在具有不同长度和特性的多样化时间序列数据集上表现如何？
• RQ5 该框架是否足够灵活，可与多种相似性度量（如DTW和MSM）协同工作？

主要发现

• 在85个数据集中的72.9%上，SPIRAL-DTW-k-Means在标准化互信息（NMI）指标上优于k-Shape、CLDS和k-Means-DTW。
• 在81.2%和75.3%的数据集中，SPIRAL-MSM-k-Means的NMI分别高于Laplace-MSM-k-Means和k-Medoids-MSM。
• 在ElectricDevice数据集（含16,637个时间序列）上，SPIRAL-DTW-k-Means运行时间不足2分钟，而k-Means-DTW耗时169分钟，Laplace-DTW-k-Means耗时5小时。
• 该框架将相似性矩阵计算时间从完整DTW矩阵的28小时以上（n=150,000）减少至仅3分钟，通过O(n log n)采样实现。
• 所提出的循环坐标下降算法在n=150,000、d=15时，仅用25秒即可学习特征，展现出极高的效率。
• 即使是最简单的聚类算法（如k-means）在学习到的表示上也表现出强劲性能，表明特征学习的质量优异。