[论文解读] PatchAD: A Lightweight Patch-based MLP-Mixer for Time Series Anomaly Detection

Zhijie Zhong, Zhiwen Yu+3 more|arXiv (Cornell University)|Jan 18, 2024

Anomaly Detection Techniques and Applications被引用 4

一句话总结

PatchAD 提出了一种轻量级、多尺度的基于补丁的 MLP-Mixer 架构，通过对比学习来区分正常与异常模式，用于时间序列异常检测。通过利用非重叠的时间补丁和双投影约束，其在八个基准数据集上实现了最先进性能，同时具备高效率和强鲁棒性。

ABSTRACT

Time series anomaly detection is a pivotal task in data analysis, yet it poses the challenge of discerning normal and abnormal patterns in label-deficient scenarios. While prior studies have largely employed reconstruction-based approaches, which limit the models' representational capacities. Moreover, existing deep learning-based methods are not sufficiently lightweight. Addressing these issues, we present PatchAD, our novel, highly efficient multiscale patch-based MLP-Mixer architecture that utilizes contrastive learning for representation extraction and anomaly detection. With its four distinct MLP Mixers and innovative dual project constraint module, PatchAD mitigates potential model degradation and offers a lightweight solution, requiring only $0.403M$ parameters. Its efficacy is demonstrated by state-of-the-art results across $8$ datasets sourced from different application scenarios, outperforming over $30$ comparative algorithms. PatchAD significantly improves the classical F1 score by 6.84%, the Aff-F1 score by 4.27%, and the V-ROC by 2.49%. Simultaneously, an in-depth analysis of the mechanisms underlying PatchAD has been conducted from both theoretical and experimental perspectives, validating the design motivations of the model. The code is publicly available at https://github.com/EmorZz1G/PatchAD.

研究动机与目标

• 为解决基于重建的方法在无标签时间序列数据中难以区分正常与异常模式的局限性。
• 设计一种轻量级深度学习框架，在降低计算复杂度的同时保持高性能。
• 通过建模多尺度时间补丁和通道间依赖关系，提升时间序列异常检测中的表征学习能力。
• 通过一种新颖的双投影约束模块，缓解对比学习中的模型退化问题。
• 在最小架构开销下，实现在多样化多变量时间序列数据集上的有效异常检测。

提出的方法

• PatchAD 采用多尺度补丁划分策略，将输入时间序列划分为非重叠的时间补丁，以捕捉超越点级表征的更丰富语义特征。
• 其使用四个不同的 MLP-Mixer 编码器，每个处理不同大小的补丁，以建模多尺度时间动态和关系。
• 通过为同一补丁序列创建两个增强视图来应用对比学习，促使正常样本保持一致的表征，同时扰乱异常样本的表征。
• 引入双投影约束模块，通过正则化投影头来稳定训练并防止对比学习中的表征崩溃。
• 通过基于 MLP 的混合机制建模补丁间与补丁内关系，避免使用注意力机制，以确保轻量级推理。
• 基于对比损失和重建误差计算异常分数，并使用学习得到的阈值对异常进行分类。

实验结果

研究问题

• RQ1 纯 MLP 架构是否能在保持更低计算成本的同时，优于基于注意力的模型用于时间序列异常检测？
• RQ2 多尺度补丁划分在提升模型检测不同时间序列模式下多样化异常类型的能力方面有多有效？
• RQ3 双投影约束在缓解时间序列数据中对比学习的表征崩溃方面有多大作用？
• RQ4 PatchAD 在多样化真实世界多变量时间序列数据集上的表现如何，相较于最先进方法？
• RQ5 哪些超参数设置（如窗口大小、补丁大小、模型维度）能在性能与推理速度之间实现最佳权衡？

主要发现

• PatchAD 在八个基准数据集上实现了最先进性能，F1 分数分别为：MSL 数据集 95.02，SMAP 数据集 96.55，WADI 数据集 92.43。
• 消融实验证实，若移除双投影约束，MSL 数据集上的 F1 分数将下降 1.96 分，表明其在防止模型退化方面具有关键作用。
• 模型保持了高效率，在 SMD 数据集上滑动步长为 1 时，推理速度比 DCdetector 快 1.45 倍。
• 在窗口大小 60 至 210 范围内性能保持稳定，最优结果出现在窗口大小 105，表明对输入长度变化具有强鲁棒性。
• 在使用完整配置时，PatchAD 在 WADI 数据集上实现了 100% 的召回率，凸显其对罕见或复杂异常的强大检测能力。
• 敏感性分析表明，将投影约束设置在 0.1 至 0.4 之间，异常阈值设置在 0.8 至 1.0 之间，可在各数据集上获得最佳性能。