[论文解读] TimeAutoML: Autonomous Representation Learning for Multivariate Irregularly Sampled Time Series

Yang Jiao, Kai Yang+4 more|arXiv (Cornell University)|Oct 4, 2020

Time Series Analysis and Forecasting参考文献 47被引用 4

一句话总结

TimeAutoML 提出了一种用于多变量非规则采样时间序列的自主、自监督表示学习框架，通过自动超参数优化、负样本生成的对比学习以及辅助分类任务实现。该方法在 85 个 UCR 数据集中的 78 个上实现了最先进性能，在异常检测任务中 AUC 提升最高达 20%。

ABSTRACT

Multivariate time series (MTS) data are becoming increasingly ubiquitous in diverse domains, e.g., IoT systems, health informatics, and 5G networks. To obtain an effective representation of MTS data, it is not only essential to consider unpredictable dynamics and highly variable lengths of these data but also important to address the irregularities in the sampling rates of MTS. Existing parametric approaches rely on manual hyperparameter tuning and may cost a huge amount of labor effort. Therefore, it is desirable to learn the representation automatically and efficiently. To this end, we propose an autonomous representation learning approach for multivariate time series (TimeAutoML) with irregular sampling rates and variable lengths. As opposed to previous works, we first present a representation learning pipeline in which the configuration and hyperparameter optimization are fully automatic and can be tailored for various tasks, e.g., anomaly detection, clustering, etc. Next, a negative sample generation approach and an auxiliary classification task are developed and integrated within TimeAutoML to enhance its representation capability. Extensive empirical studies on real-world datasets demonstrate that the proposed TimeAutoML outperforms competing approaches on various tasks by a large margin. In fact, it achieves the best anomaly detection performance among all comparison algorithms on 78 out of all 85 UCR datasets, acquiring up to 20% performance improvement in terms of AUC score.

研究动机与目标

• 解决在非规则采样率和可变长度的多变量时间序列上学习有效表示的挑战。
• 通过自动化整个表示学习管道配置，消除手动超参数调优。
• 通过一种新颖的负样本生成方法和辅助分类任务，提升表示质量。
• 在真实世界非规则时间序列数据上，实现对异常检测和聚类等多样化下游任务的稳健性能。

提出的方法

• TimeAutoML 采用端到端的自编码器架构，并引入可学习的位置编码以处理非规则采样间隔。
• 通过负样本生成策略引入对比学习目标，以提升表示的判别能力。
• 引入辅助分类头以区分正常时间序列与生成的负样本，增强特征学习。
• 该框架采用神经架构搜索（NAS）策略，自动为每个任务选择最优模块和超参数。
• 潜在空间表示用于下游任务，如基于高斯混合模型（GMM）的聚类和基于密度估计的异常检测。
• 设计了一种自监督损失函数 $ L_{\mathrm{self}} $，从无标签数据中生成伪标签，实现无需监督的端到端训练。

实验结果

研究问题

• RQ1 一个自主的表示学习框架是否能在非规则采样多变量时间序列上超越人工调优的基线方法？
• RQ2 在不同非规则采样率下，TimeAutoML 在异常检测和聚类等多样化下游任务中的表现如何？
• RQ3 负样本生成和辅助分类任务对模型表示能力的贡献是什么？
• RQ4 TimeAutoML 对数据污染和不同采样不规则性具有多强的鲁棒性？

主要发现

• TimeAutoML 在 85 个 UCR 数据集中的 78 个上实现了最佳异常检测性能，与最先进方法相比，AUC 分数最高提升 20%。
• 该模型在非规则采样率下保持强鲁棒性，即使采样率不规则性 $ \beta $ 从 0 增加到 0.7，AUC 分数依然稳定。
• 在多变量时间序列聚类任务中，TimeAutoML 在所有五个评估数据集上均取得最高的 NMI 分数，优于 DTCR、K-shape 和 SPIRAL 等方法。
• 消融实验表明，移除自监督损失 $ L_{\mathrm{self}} $ 会导致性能下降，证实其在表示学习中的重要性。
• 潜在空间的可视化结果表明，正常时间序列聚集成紧密簇，而异常序列则明显分离，支持可解释的异常检测。
• 该框架表现出强大的泛化能力，即使在数据污染条件下性能下降也仅轻微增加，表明对噪声输入具有强鲁棒性。