[论文解读] Time Series Segmentation through Automatic Feature Learning

Wei‐Han Lee, Jorge Ortiz+2 more|arXiv (Cornell University)|Jan 16, 2018

Time Series Analysis and Forecasting参考文献 18被引用 27

一句话总结

本文提出了一种基于深度学习的时间序列分割方法，可自动学习判别性特征以检测人工指定的断点——这些断点是传统变化点检测方法无法捕捉的细微非统计性转变。通过利用具有学习到的时间表示和自适应窗口的卷积自编码器，该方法在多种真实世界数据集上实现了最先进性能，显著优于贝叶斯和统计方法，在断点检测的准确性和鲁棒性方面表现更优。

ABSTRACT

Internet of things (IoT) applications have become increasingly popular in recent years, with applications ranging from building energy monitoring to personal health tracking and activity recognition. In order to leverage these data, automatic knowledge extraction - whereby we map from observations to interpretable states and transitions - must be done at scale. As such, we have seen many recent IoT data sets include annotations with a human expert specifying states, recorded as a set of boundaries and associated labels in a data sequence. These data can be used to build automatic labeling algorithms that produce labels as an expert would. Here, we refer to human-specified boundaries as breakpoints. Traditional changepoint detection methods only look for statistically-detectable boundaries that are defined as abrupt variations in the generative parameters of a data sequence. However, we observe that breakpoints occur on more subtle boundaries that are non-trivial to detect with these statistical methods. In this work, we propose a new unsupervised approach, based on deep learning, that outperforms existing techniques and learns the more subtle, breakpoint boundaries with a high accuracy. Through extensive experiments on various real-world data sets - including human-activity sensing data, speech signals, and electroencephalogram (EEG) activity traces - we demonstrate the effectiveness of our algorithm for practical applications. Furthermore, we show that our approach achieves significantly better performance than previous methods.

研究动机与目标

• 解决传统变化点检测方法依赖预设参数模型的局限性，这些方法无法检测非统计性、专家定义的断点。
• 克服对手工设计特征（如均值、方差）的依赖，这些特征不足以捕捉真实世界时间序列中的复杂潜在时间模式。
• 开发一种无监督深度学习框架，从原始时间序列数据中自动学习分层表示，以检测断点，且无需对数据分布做出先验假设。
• 实现在人类活动识别、语音处理和生理信号分析等多样化真实应用场景中的泛化能力。
• 提出一种基于敏感性分析的简单、数据自适应超参数调优策略，以优化不同数据集的窗口大小、码书大小和网络深度。

提出的方法

• 使用卷积自编码器（CAE）学习原始时间序列数据的紧凑分层表示，捕捉超越简单统计量的复杂时间依赖性。
• 通过向量量化学习码书，将潜在表示离散化为有意义且可解释的单元，反映潜在的状态转换。
• 采用滑动窗口方法，通过敏感性分析调整自适应窗口大小，以捕捉具有不同段长的数据集中的段级模式。
• 使用重建损失端到端训练模型以保留时间结构，使模型能够学习对检测断点最相关的特征。
• 集成一个预测头，通过检测学习到的潜在空间中的不连续性来识别断点位置，使用可微分近似方法定位转换点。
• 通过系统性敏感性分析优化超参数（窗口大小、码书大小、网络深度），在检测准确性和跨数据集泛化能力之间取得平衡。

实验结果

研究问题

• RQ1 深度学习模型是否能比传统统计变化点检测方法更有效地检测时间序列数据中的人工指定断点？
• RQ2 与手工设计的统计特征相比，深度自编码器学习到的特征在多大程度上提升了断点检测性能？
• RQ3 所提出方法在具有不同段长分布和信号特征的多样化真实世界数据集上的性能表现如何？
• RQ4 数据自适应的超参数调优策略是否能提升模型在异构时间序列上的泛化能力，而无需手动重新调优？
• RQ5 由于未预设生成模型，该方法是否能检测到标准方法所遗漏的非统计性、专家定义的转变？

主要发现

• 所提深度学习方法在所有评估数据集上均实现了最低的预测损失（0.025），优于贝叶斯方法（如Adams和MacKay）及最先进算法，在断点检测方面表现更优。
• 平均预测比率达到接近1（0.98），表明对断点总数的估计准确，同时保持了较低的均方误差（MSE）0.021。
• 在EEG数据集上，模型的F1得分达到0.89，显著优于次优方法（F1 = 0.67），表明其在复杂生理信号上的鲁棒性。
• 最优窗口大小分别自动调优至25、400和20,000，对应EEG、UCI和DCASE数据集，体现了方法对不同段长的适应能力。
• 在三个基准数据集（EEG、UCI、DCASE）上，该方法性能始终更优，相比现有方法F1得分提升25%–40%。
• 该方法成功检测到智能手机传感器数据中的断点，而使用伽马和高斯先验的贝叶斯方法未能识别出细微转变，如图1所示得到视觉验证。