[论文解读] SimAD: A Simple Dissimilarity-based Approach for Time Series Anomaly Detection

Zhijie Zhong, Zhiwen Yu+6 more|arXiv (Cornell University)|May 18, 2024

Anomaly Detection Techniques and Applications被引用 4

一句话总结

SimAD 提出了一种简单但有效的基于差异性的时间序列异常检测方法，通过基于图像块的特征提取扩展时间感受野，采用 EmbedPatch 编码器学习鲁棒的正常模式表征，并引入 ContrastFusion 模块以增强正常与异常数据间分布差异。该方法在七个真实世界数据集上达到最先进性能，F1 分数相对提升最高达 19.85%，NAff-F1 提升达 77.79%，同时引入两种新评估指标 UAff 和 NAff，实现更公平的性能评估。

ABSTRACT

Despite the prevalence of reconstruction-based deep learning methods, time series anomaly detection remains a tremendous challenge. Existing approaches often struggle with limited temporal contexts, insufficient representation of normal patterns, and flawed evaluation metrics, all of which hinder their effectiveness in detecting anomalous behavior. To address these issues, we introduce a $ extbf{Sim}$ple dissimilarity-based approach for time series $ extbf{A}$nomaly $ extbf{D}$etection, referred to as $ extbf{SimAD}$. Specifically, SimAD first incorporates a patching-based feature extractor capable of processing extended temporal windows and employs the EmbedPatch encoder to fully integrate normal behavioral patterns. Second, we design an innovative ContrastFusion module in SimAD, which strengthens the robustness of anomaly detection by highlighting the distributional differences between normal and abnormal data. Third, we introduce two robust enhanced evaluation metrics, Unbiased Affiliation (UAff) and Normalized Affiliation (NAff), designed to overcome the limitations of existing metrics by providing better distinctiveness and semantic clarity. The reliability of these two metrics has been demonstrated by both theoretical and experimental analyses. Experiments conducted on seven diverse time series datasets clearly demonstrate SimAD's superior performance compared to state-of-the-art methods, achieving relative improvements of $ extbf{19.85%}$ on F1, $ extbf{4.44%}$ on Aff-F1, $ extbf{77.79%}$ on NAff-F1, and $ extbf{9.69%}$ on AUC on six multivariate datasets. Code and pre-trained models are available at https://github.com/EmorZz1G/SimAD.

研究动机与目标

• 解决基于重建的深度学习方法在时间序列异常检测中的局限性，特别是其泛化能力差以及对长期时间依赖建模不足的问题。
• 通过在不增加模型复杂度的前提下扩展有效感受野，克服现有模型中时间上下文受限的问题。
• 通过引入基于原型的注意力机制，提出新型 EmbedPatch 编码器，提升正常模式表征的学习能力。
• 通过引入 ContrastFusion 模块，增强正常与异常分布之间的统计差异，提升异常判别能力。
• 提出并验证两种新评估指标 UAff 和 NAff，以弥补现有指标的缺陷，确保异常检测模型评估的公平性。

提出的方法

• 将长序列时间序列划分为非重叠图像块，以在保持计算效率的同时扩展有效时间感受野。
• 在每个 Transformer 层中集成基于原型的注意力机制，以在不增加参数量的前提下提升特征表达能力和模型容量。
• 采用 EmbedPatch 编码器，通过融合图像块嵌入与学习到的原型，学习正常行为的全面高层次表征。
• 设计 ContrastFusion 模块，在训练过程中显式增强正常与异常样本分布之间的差异。
• 应用非对称优化策略，使模型学习更聚焦于异常样本，提升对罕见异常的敏感性。
• 使用基于图像块的余弦相似度作为异常分数，相比标准 L2 重建损失，能更好地捕捉长时序异常。

实验结果

研究问题

• RQ1 通过关注分布差异而非重建误差，基于差异性的方法是否能在时间序列异常检测中超越基于重建的方法？
• RQ2 基于图像块的特征提取与原型增强注意力机制在多大程度上能提升时间序列中长期时间依赖的建模能力？
• RQ3 ContrastFusion 模块在增强正常与异常模式之间判别能力方面效果如何？
• RQ4 所提出的评估指标 UAff 和 NAff 是否相比现有指标提供了更可靠且理论更坚实的模型比较基础？
• RQ5 所提出方法是否能在具有不同异常特征的多样化多变量与单变量时间序列数据集上实现良好泛化？

主要发现

• 与最先进方法相比，SimAD 在六个多变量时间序列数据集上的 F1 分数相对提升达 19.85%，Aff-F1 提升 4.44%。
• 在 NAff-F1 指标上，SimAD 实现了 77.79% 的显著相对提升，表明其在类别不平衡设置下检测异常的优越能力。
• 消融实验表明，移除 EmbedPatch 模块导致性能下降最大（F1 指标），凸显其在学习有意义时间表征中的关键作用。
• ContrastFusion 模块对性能贡献显著，移除后 F1 分数下降 7.88%，表明其在增强正常与异常模式判别能力方面的重要性。
• 数据增强模块提升了泛化能力，移除后 UAff-F1 下降减少 43.69%，表明其在应对分布偏移时的鲁棒性价值。
• SWaT 数据集上的可视化结果表明，SimAD 能有效检测短时和长时异常，在段级异常检测中优于 AnomTrans 和基于 L2 损失的基线方法。