[论文解读] Unsupervised Online Anomaly Detection On Irregularly Sampled Or Missing Valued Time-Series Data Using LSTM Networks

Oğuzhan Karaahmetoğlu, Fatih İlhan+2 more|arXiv (Cornell University)|May 25, 2020

Anomaly Detection Techniques and Applications参考文献 1被引用 4

一句话总结

该论文提出了一种端到端的无监督在线异常检测框架，用于处理不规则采样或含缺失值的时间序列，采用一种新颖的时间调制LSTM架构结合支持向量数据描述（SVDD）。该方法通过混合损失函数联合优化特征提取与一类分类，在真实数据集上的表现显著优于标准方法，通过门控时间调制有效建模了在不规则采样和缺失数据下的时间依赖性。

ABSTRACT

We study anomaly detection and introduce an algorithm that processes variable length, irregularly sampled sequences or sequences with missing values. Our algorithm is fully unsupervised, however, can be readily extended to supervised or semisupervised cases when the anomaly labels are present as remarked throughout the paper. Our approach uses the Long Short Term Memory (LSTM) networks in order to extract temporal features and find the most relevant feature vectors for anomaly detection. We incorporate the sampling time information to our model by modulating the standard LSTM model with time modulation gates. After obtaining the most relevant features from the LSTM, we label the sequences using a Support Vector Data Descriptor (SVDD) model. We introduce a loss function and then jointly optimize the feature extraction and sequence processing mechanisms in an end-to-end manner. Through this joint optimization, the LSTM extracts the most relevant features for anomaly detection later to be used in the SVDD, hence completely removes the need for feature selection by expert knowledge. Furthermore, we provide a training algorithm for the online setup, where we optimize our model parameters with individual sequences as the new data arrives. Finally, on real-life datasets, we show that our model significantly outperforms the standard approaches thanks to its combination of LSTM with SVDD and joint optimization.

研究动机与目标

• 解决在缺乏或无法获取标注数据的时间序列中检测异常的挑战，这些时间序列存在不规则采样或缺失值。
• 开发一种完全无监督的在线学习框架，能够处理具有时间依赖性的可变长度序列。
• 通过端到端方式联合优化特征提取与异常分类，消除对专家驱动特征选择的依赖。
• 将采样时间信息融入LSTM架构，以改善在非均匀采样下的时间模式建模。
• 通过使用顺序梯度更新的在线训练算法，实现实时适应。

提出的方法

• 提出一种改进的LSTM（M-LSTM），其时间调制门控基于到达时间间隔缩放隐藏状态，从而有效处理不规则采样。
• 在训练中使用重构损失，以保留含缺失值序列中的时间结构，提升特征表示质量。
• 使用支持向量数据描述（SVDD）作为一类分类器，基于学习到的时间特征检测异常。
• 通过组合重构损失与SVDD边界损失的复合损失函数，联合优化LSTM与SVDD组件，实现端到端训练。
• 设计一种在线学习算法，当新序列到达时按顺序更新模型参数，支持实时部署。
• 在训练中应用随机序列丢弃，以模拟缺失数据，提升对不规则采样的鲁棒性。

实验结果

研究问题

• RQ1 经过修改的LSTM架构是否能在无需标注数据的情况下，有效建模不规则采样或含缺失值的时间序列用于异常检测？
• RQ2 在LSTM中引入时间调制门控相比标准LSTM或加法时间注入变体，性能提升程度如何？
• RQ3 端到端联合优化特征提取与一类分类在多大程度上优于解耦训练或启发式特征选择方法？
• RQ4 随着缺失数据率或不规则采样程度的增加，所提方法的性能表现如何变化？
• RQ5 该模型是否能有效适应在线学习设置，实现对流式数据的实时异常检测？

主要发现

• 所提出的带时间调制门控的M-LSTM模型显著优于A-LSTM与D-LSTM变体，尤其在缺失数据率增加时，得益于对长采样间隔的更好建模。
• 在活动识别数据集上，随机丢弃率为0.7时，M-LSTM展现出明显的性能优势，证明其对高比例缺失数据的鲁棒性。
• 通过联合损失函数实现LSTM与SVDD的端到端联合优化，相比分离训练或固定特征提取的模型，异常检测性能更优。
• 在线训练算法支持按顺序更新参数，使系统适用于流式数据的实时部署。
• 即使在可变长度序列和高缺失数据率下，M-LSTM仍保持较高的AUC分数，表明其具备有效的时序特征学习能力。
• 随着丢弃率的增加，M-LSTM与A-LSTM之间的性能差距进一步扩大，证实基于调制的时间整合方法优于加法时间注入。