[论文解读] TiSAT: Time Series Anomaly Transformer

Keval Doshi, Shatha Abudalou+1 more|arXiv (Cornell University)|Mar 10, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出TiSAT，一种基于自注意力机制的Transformer模型，用于无监督时间序列异常检测。该模型通过引入一种新型SPD指标来衡量检测的及时性与精确度，解决了现有评估指标的缺陷。TiSAT在基准数据集上通过渐近误报率分析推导出的闭式阈值，展现出优于最先进方法的性能，且在修正后的评估指标下表现更优。

ABSTRACT

While anomaly detection in time series has been an active area of research for several years, most recent approaches employ an inadequate evaluation criterion leading to an inflated F1 score. We show that a rudimentary Random Guess method can outperform state-of-the-art detectors in terms of this popular but faulty evaluation criterion. In this work, we propose a proper evaluation metric that measures the timeliness and precision of detecting sequential anomalies. Moreover, most existing approaches are unable to capture temporal features from long sequences. Self-attention based approaches, such as transformers, have been demonstrated to be particularly efficient in capturing long-range dependencies while being computationally efficient during training and inference. We also propose an efficient transformer approach for anomaly detection in time series and extensively evaluate our proposed approach on several popular benchmark datasets.

研究动机与目标

• 识别并修正现有时间序列异常检测方法中评估标准的缺陷，该缺陷通过过度惩罚假阴性和过度放大真阳性，人为提高了F1分数。
• 提出一种新型评估指标SPD（序列精确度与延迟），用于衡量序列模式中异常检测的及时性与精确度。
• 开发一种高效的基于Transformer的模型TiSAT，能够捕捉时间序列数据中的长程时间依赖关系，同时保持计算效率。
• 通过极值理论与Lambert-W函数推导出误报率的闭式表达式，为设定检测阈值提供理论基础。

提出的方法

• TiSAT采用双编码器、单解码器的Transformer架构，输入为大小为100的滑动窗口，以处理序列时间序列数据。
• 模型通过测量输入序列的重建误差，使用基于重建的损失来检测异常。
• 关键创新在于利用极值理论推导出闭式阈值，其中阈值h计算为h = -log(FAR)/ω₀，其中ω₀由数据维度和统计特性推导得出。
• 通过预期误报周期的逆函数，对误报率进行理论边界约束，并在五个基准数据集上进行经验验证。
• 模型使用Adam优化器，以固定学习率1e-4训练4个周期，并对所有数据集应用最小-最大归一化。
• 所提出的SPD指标通过测量报警触发延迟和异常序列检测的精确度来评估检测性能，避免了传统实例级指标的偏差。

实验结果

研究问题

• RQ1 标准的实例级评估指标是否可能因在序列异常中过度放大真阳性，导致即使模型实际表现不佳，F1分数仍异常偏高？
• RQ2 在标准评估协议下，一种简单的随机猜测策略（以低概率随机触发报警）是否可能优于最先进的时间序列异常检测模型？
• RQ3 新型评估指标SPD是否能更好地反映真实世界性能，通过同时衡量序列异常检测中的检测及时性与精确度？
• RQ4 基于Transformer的架构是否能有效建模时间序列中的长程时间依赖关系，同时在训练和推理过程中保持计算效率？
• RQ5 是否可能推导出检测阈值的闭式解析表达式，以确保无监督异常检测中达到期望的误报率？

主要发现

• 随机猜测方法以1%的报警概率，在SMD上获得93.39的F1分数，在PSM上获得98.83的F1分数，优于标准调整实例级评估下的最先进模型，暴露了该评估方法的根本缺陷。
• TiSAT在SMD上取得52.70的SPD分数，MSL上为33.40，SMAP上为29.35，SWaT上为46.23，PSM上为38.58，显著优于OCSVM、IsolationForest和LSTM等经典方法。
• 所提出的SPD指标揭示，Anomaly Transformer和InterFusion等在F1分数上占优的模型，在检测及时性与精确度方面表现较差。
• 基于渐近误报率分析推导出的理论阈值与实证结果高度一致，验证了闭式表达式h = -log(FAR)/ω₀在所有数据集上的有效性。
• 基于重建的训练结合注意力机制，使模型能有效捕捉长程依赖关系，从而在多样化的现实时间序列数据上实现更优的检测性能。
• 实证验证表明，定理1推导出的误报周期下限与实际观测到的误报周期高度吻合，支持了理论框架的稳健性。