[论文解读] Unsupervised Deep Anomaly Detection for Multi-Sensor Time-Series Signals

Yuxin Zhang, Yiqiang Chen+2 more|arXiv (Cornell University)|Jul 27, 2021

Anomaly Detection Techniques and Applications参考文献 71被引用 24

一句话总结

本文提出CAE-M，一种新颖的无监督深度学习模型，通过联合建模空间与时间依赖性，实现对多传感器时序数据的异常检测。该模型结合了带有最大均值差异（MMD）正则化的深度卷积自编码器与融合自回归及注意力机制双向LSTM组件的混合记忆网络，在HAR和HC数据集上实现了最先进性能，且对噪声数据具有强鲁棒性。

ABSTRACT

Nowadays, multi-sensor technologies are applied in many fields, e.g., Health Care (HC), Human Activity Recognition (HAR), and Industrial Control System (ICS). These sensors can generate a substantial amount of multivariate time-series data. Unsupervised anomaly detection on multi-sensor time-series data has been proven critical in machine learning researches. The key challenge is to discover generalized normal patterns by capturing spatial-temporal correlation in multi-sensor data. Beyond this challenge, the noisy data is often intertwined with the training data, which is likely to mislead the model by making it hard to distinguish between the normal, abnormal, and noisy data. Few of previous researches can jointly address these two challenges. In this paper, we propose a novel deep learning-based anomaly detection algorithm called Deep Convolutional Autoencoding Memory network (CAE-M). We first build a Deep Convolutional Autoencoder to characterize spatial dependence of multi-sensor data with a Maximum Mean Discrepancy (MMD) to better distinguish between the noisy, normal, and abnormal data. Then, we construct a Memory Network consisting of linear (Autoregressive Model) and non-linear predictions (Bidirectional LSTM with Attention) to capture temporal dependence from time-series data. Finally, CAE-M jointly optimizes these two subnetworks. We empirically compare the proposed approach with several state-of-the-art anomaly detection methods on HAR and HC datasets. Experimental results demonstrate that our proposed model outperforms these existing methods.

研究动机与目标

• 解决多传感器时序数据中异常罕见且未标注的无监督异常检测挑战。
• 联合建模多变量时序信号中的空间与时间依赖性，以捕捉泛化的正常模式。
• 在训练过程中提升对噪声数据的鲁棒性，避免模型将噪声误认为正常模式。
• 通过联合优化特征提取与预测组件，克服两步法或独立训练模型的局限性。
• 构建一个集成重建误差与预测误差的复合异常检测框架，通过统一得分实现细粒度检测。

提出的方法

• 模型采用带有最大均值差异（MMD）正则化的深度卷积自编码器（CAE），以学习鲁棒表征，并减少对训练数据中噪声与异常的过拟合。
• 构建记忆网络时采用两条并行分支：一条为线性自回归模型，另一条为带自注意力机制的非线性双向LSTM，用于时间序列预测。
• CAE-M模型联合优化来自CAE的重建损失、来自自回归模型的预测损失以及来自注意力机制BiLSTM的预测损失。
• 异常得分通过结合重建误差与预测误差的复合目标函数计算，实现细粒度异常检测。
• 模型端到端训练以最小化复合损失，提升泛化能力与对数据噪声的鲁棒性。
• 通过控制变量减少法与多数据集的迭代训练分析，评估超参数敏感性与收敛性。

Figure 1: The overview of the proposed CAE-M model.

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效建模多传感器时序数据中的空间与时间依赖性，以实现无监督异常检测？
• RQ2 引入MMD正则化如何提升模型在异常检测中对噪声训练数据的鲁棒性？
• RQ3 自回归建模与注意力机制BiLSTM在捕捉时间动态方面的相对贡献如何？
• RQ4 联合优化特征提取与预测组件是否优于子网络独立训练的性能？
• RQ5 模型性能对超参数选择的敏感性如何，特别是重建损失与预测损失权重的设定？

主要发现

• CAE-M在HAR与医疗保健（HC）数据集上优于最先进方法，F1、精确率与召回率均表现更优。
• 消融研究显示，移除自回归组件（CAE-M w/o AR）导致性能显著下降，证实其在建模时间动态中的关键作用。
• 注意力机制与MMD正则化在所有数据集上均带来显著性能提升，其中MMD在减少对噪声的过拟合方面尤为有效。
• CAE-M在噪声水平增至30%高斯噪声时仍保持稳定性能，相比UODA与ConvLSTM-COMPOSITE展现出更强鲁棒性。
• 模型在所有数据集上均于40次训练迭代内完成收敛，表明训练速度快且稳定。
• 参数敏感性分析表明，模型在广泛超参数范围内保持鲁棒，最优权重为λ₁ = 1e-4，λ₂ = 0.5，λ₃ = 0.5。

(a) Leave One Subject Out Evaluation