[论文解读] Toeplitz Inverse Covariance-Based Clustering of Multivariate Time Series Data

David Hallac, Sagar Vare+2 more|arXiv (Cornell University)|Jun 10, 2017

Time Series Analysis and Forecasting参考文献 42被引用 19

一句话总结

本文提出了一种基于托普利茨逆协方差的聚类方法（TICC），这是一种基于模型的方法，通过学习每个聚类内表示传感器间依赖关系的稀疏马尔可夫随机场（MRFs），实现对多变量时间序列的同步分割与聚类。TICC 使用动态规划进行时间分割，利用 ADMM 估计具有托普利茨结构的逆协方差矩阵，从而实现可解释的、结构感知的聚类，其在合成数据和真实世界汽车传感器数据上的表现优于基于距离的基线方法。

ABSTRACT

Subsequence clustering of multivariate time series is a useful tool for discovering repeated patterns in temporal data. Once these patterns have been discovered, seemingly complicated datasets can be interpreted as a temporal sequence of only a small number of states, or clusters. For example, raw sensor data from a fitness-tracking application can be expressed as a timeline of a select few actions (i.e., walking, sitting, running). However, discovering these patterns is challenging because it requires simultaneous segmentation and clustering of the time series. Furthermore, interpreting the resulting clusters is difficult, especially when the data is high-dimensional. Here we propose a new method of model-based clustering, which we call Toeplitz Inverse Covariance-based Clustering (TICC). Each cluster in the TICC method is defined by a correlation network, or Markov random field (MRF), characterizing the interdependencies between different observations in a typical subsequence of that cluster. Based on this graphical representation, TICC simultaneously segments and clusters the time series data. We solve the TICC problem through alternating minimization, using a variation of the expectation maximization (EM) algorithm. We derive closed-form solutions to efficiently solve the two resulting subproblems in a scalable way, through dynamic programming and the alternating direction method of multipliers (ADMM), respectively. We validate our approach by comparing TICC to several state-of-the-art baselines in a series of synthetic experiments, and we then demonstrate on an automobile sensor dataset how TICC can be used to learn interpretable clusters in real-world scenarios.

研究动机与目标

• 为解决将高维多变量时间序列同步分割与聚类为可解释、可重复出现状态的挑战。
• 通过马尔可夫随机场（MRFs）建模条件依赖关系，提升聚类可解释性，超越基于距离的聚类方法。
• 开发一种可扩展的基于模型的聚类框架，捕捉子序列内的时不变相关结构。
• 实现对传感器数据中具有实际意义的行为模式（如汽车数据集中的驾驶操作）的发现。
• 提供一种基于结构相似性而非原始值对齐的聚类方法，使其对方向性或对称性变化（如左转与右转）具有鲁棒性。

提出的方法

• TICC 将每个聚类建模为在固定大小滑动窗口上定义的多层马尔可夫随机场（MRF），捕捉时不变的部分相关结构。
• MRF 由稀疏逆协方差矩阵（精度矩阵）表示，其中零元素表示传感器对之间的条件独立性。
• 该算法在两个步骤间交替进行：(1) 使用动态规划将时间点分配给聚类，以保证时间一致性；(2) 通过 ADMM 更新每个聚类特定的 MRF，以解决稀疏逆协方差估计问题。
• 将逆协方差矩阵约束为托普利茨结构，以强制平稳性并减少参数数量，从而提升可扩展性与可解释性。
• 该方法采用受 EM 算法启发的交替最小化框架，两个子问题均可实现闭式更新。
• 聚类目标同时包含数据保真度与结构正则化，促进具有一致 MRF 的子段形成。

实验结果

研究问题

• RQ1 基于模型的聚类方法是否能通过从多变量时间序列中学习依赖网络（MRFs）来提升可解释性，相比基于距离的方法？
• RQ2 如何在保持时间一致性并捕捉结构模式的同时，实现同步分割与聚类？
• RQ3 TICC 在高维传感器数据中发现有意义的真实世界行为状态（如驾驶操作）的能力有多强？
• RQ4 基于结构相似性（偏相关）的聚类是否优于基于原始信号对齐的聚类，特别是在左转与右转等对称场景中？
• RQ5 所得到的 MRF 是否可通过传感器重要性度量（如介数中心性）用于解释聚类语义？

主要发现

• TICC 在汽车传感器数据集中成功识别出五个不同的驾驶状态：减速、转弯、加速、直线行驶以及弯道行驶。
• 该方法表现出高度可解释性，传感器介数中心性得分能清晰区分聚类语义——例如，Y-加速度在转弯聚类（#2 和 #5）中最为重要。
• 聚类 #1 因具有高刹车踏板与速度中心性，始终被分配为减速状态；而聚类 #4 以速度与油门踏板为主导，对应于直线道路巡航状态。
• TICC 正确地将左转与右转归为同一聚类，因为其传感器依赖结构具有相似性，而基于距离的方法则会将其视为不同类别。
• 该算法对对称性变化表现出鲁棒性，如在同一驾驶会话中，左转与右转的聚类分配保持一致。
• 在合成数据上，TICC 在聚类准确率与结构恢复方面均优于最先进基线方法，验证了其在恢复真实底层模式方面的有效性。