[论文解读] Revisiting VAE for Unsupervised Time Series Anomaly Detection: A Frequency Perspective

Zexin Wang, Changhua Pei+10 more|arXiv (Cornell University)|Feb 5, 2024

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出了一种新型无监督异常检测方法——频域增强条件变分自编码器（FCVAE），该方法将全局与局部频域特征通过目标注意力机制整合进条件变分自编码器框架，用于单变量时间序列的异常检测。FCVAE 显著提升了对正常模式的重建精度，特别是长周期与短周期趋势，相较于现有基线检测器，在公开数据集和大规模云系统上实现了SOTA性能，F1分数提升11.1%。

ABSTRACT

Time series Anomaly Detection (AD) plays a crucial role for web systems. Various web systems rely on time series data to monitor and identify anomalies in real time, as well as to initiate diagnosis and remediation procedures. Variational Autoencoders (VAEs) have gained popularity in recent decades due to their superior de-noising capabilities, which are useful for anomaly detection. However, our study reveals that VAE-based methods face challenges in capturing long-periodic heterogeneous patterns and detailed short-periodic trends simultaneously. To address these challenges, we propose Frequency-enhanced Conditional Variational Autoencoder (FCVAE), a novel unsupervised AD method for univariate time series. To ensure an accurate AD, FCVAE exploits an innovative approach to concurrently integrate both the global and local frequency features into the condition of Conditional Variational Autoencoder (CVAE) to significantly increase the accuracy of reconstructing the normal data. Together with a carefully designed "target attention" mechanism, our approach allows the model to pick the most useful information from the frequency domain for better short-periodic trend construction. Our FCVAE has been evaluated on public datasets and a large-scale cloud system, and the results demonstrate that it outperforms state-of-the-art methods. This confirms the practical applicability of our approach in addressing the limitations of current VAE-based anomaly detection models.

研究动机与目标

• 为解决基于VAE的模型在时间序列异常检测中难以同时捕捉长周期异构模式与细节短周期趋势的局限性。
• 通过将频域信息引入条件VAE框架，提升对具有复杂周期结构的正常时间序列片段的重建保真度。
• 开发一种轻量化、高效且精确的无监督异常检测模型，适用于大规模生产环境中实时部署。
• 验证频域感知条件机制与注意力机制在增强异常检测表征学习能力方面的有效性。

提出的方法

• FCVAE采用全局频域映射（GFM）与局部频域映射（LFM）的双频特征提取机制，以捕捉广泛的周期趋势与精细振荡。
• 通过新型条件输入将频率特征引入VAE，使解码器能够关注相关频域分量，从而更准确地重建正常模式。
• 设计目标注意力机制，选择性强调有用的局部频域信息，提升对短周期趋势与复杂模式的重建能力。
• 采用改进的ELBO损失（CM-ELBO），在重建与潜在空间正则化之间取得平衡，增强模型在正常数据上的泛化能力。
• 训练过程中应用数据增强与最后时间点的掩码策略，以提升鲁棒性并防止信息泄露。
• 模型架构针对推理效率进行优化，在单张GPU上每秒可处理超过1,195个数据点，超过实时生成速度。

实验结果

研究问题

• RQ1 将全局与局部频域特征同时整合进条件VAE是否能提升对正常时间序列模式的重建精度？
• RQ2 目标注意力机制在多大程度上增强了模型对短周期趋势与异构周期模式的重建能力？
• RQ3 在真实世界异常检测场景中，FCVAE相较于现有SOTA无监督VAE基线方法的性能提升程度如何？
• RQ4 FCVAE是否能在大规模生产系统中保持高性能与低延迟？

主要发现

• 在大规模云系统上为期一年的在线部署中，FCVAE相较于基线检测器在F1分数上提升10.9%，在Delay F1分数上提升11.1%。
• 在公开数据集上，FCVAE在F1、AUC与F1@Delay指标上均优于当前SOTA无监督方法，展现出更优的重建保真度。
• 消融实验表明，GFM与LFM组件均对性能有显著贡献，且目标注意力机制进一步提升了对复杂局部模式的重建效果。
• 模型在3090 GPU上每秒可处理超过1,195个数据点，证实其具备高推理效率，适用于实时异常检测。
• 将频域特征融入CVAE条件机制后，正常数据的重建更加准确，尤其在具有异构周期行为的区域，如图1与图2所示的可视化分析所验证。