[论文解读] RobustTAD: Robust Time Series Anomaly Detection via Decomposition and Convolutional Neural Networks

Jingkun Gao, Xiaomin Song+4 more|arXiv (Cornell University)|Feb 21, 2020

Anomaly Detection Techniques and Applications参考文献 49被引用 86

一句话总结

鲁棒TAD 将鲁棒时序分解与基于 U-Net 的编码-解码网络结合，用于检测逐点异常，辅以数据扩增和权重调整损失，并在 Yahoo 基准测试上实现最先进结果。

ABSTRACT

The monitoring and management of numerous and diverse time series data at Alibaba Group calls for an effective and scalable time series anomaly detection service. In this paper, we propose RobustTAD, a Robust Time series Anomaly Detection framework by integrating robust seasonal-trend decomposition and convolutional neural network for time series data. The seasonal-trend decomposition can effectively handle complicated patterns in time series, and meanwhile significantly simplifies the architecture of the neural network, which is an encoder-decoder architecture with skip connections. This architecture can effectively capture the multi-scale information from time series, which is very useful in anomaly detection. Due to the limited labeled data in time series anomaly detection, we systematically investigate data augmentation methods in both time and frequency domains. We also introduce label-based weight and value-based weight in the loss function by utilizing the unbalanced nature of the time series anomaly detection problem. Compared with the widely used forecasting-based anomaly detection algorithms, decomposition-based algorithms, traditional statistical algorithms, as well as recent neural network based algorithms, RobustTAD performs significantly better on public benchmark datasets. It is deployed as a public online service and widely adopted in different business scenarios at Alibaba Group.

研究动机与目标

• 在大规模工业场景中，实现可扩展的、实时的异常检测。
• 利用鲁棒分解将趋势/季节性与异常分离，简化神经网络设计。
• 探索在时域和频域的数据扩增，以弥补标注异常稀缺。
• 在损失函数中引入基于标签和基于数值的加权，以解决类别不平衡。
• 展示一个实用的在线部署和在公开数据集上优于基线的性能。

提出的方法

• 使用 RobustPeriod 和 RobustSTL 或根据周期性使用 RobustTrend 将时序分解为趋势、季节性和剩余分量。
• 使用带跳跃连接的 U-Net 风格编码-解码网络，从剩余分量预测密集异常图。
• 应用权重调整的损失以解决类别不平衡，并利用邻域差异进行基于数值的加权。
• 开发时域和频域数据扩增技术以扩充训练数据。
• 实现在线推断，结合在线分解与快速神经网络预测以适应流式数据。
• 提供端到端的系统架构，包括数据获取、离线训练、在线服务和可视化。

实验结果

研究问题

• RQ1 将鲁棒时序分解与 CNN 相结合，是否能在多样化时序上提升异常检测性能？
• RQ2 在标注稀缺和类别不平衡的情况下，数据扩增和加权损失如何影响学习？
• RQ3 在线分解与推断在生产环境中是否能满足实时要求？
• RQ4 相较原始时序输入，用分解后的剩余输入进行 CNN 基于的异常检测的影响是什么？

主要发现

方法	精确度	召回率	F1 分数	Relax F1 分数
ARIMA	0.513	0.144	0.225	0.533
SHESD	0.501	0.488	0.494	0.557
Donut	0.015	0.829	0.029	0.030
U-Net-Raw	0.473	0.351	0.403	0.533
U-Net-De	0.651	0.594	0.621	0.710
U-Net-DeW	0.793	0.569	0.662	0.795
U-Net-DeWA	0.859	0.581	0.693	0.812

• 提出的 RobustTAD 框架在 Yahoo 基准上取得的 F1 分数高于基于预测、基于分解和原始 CNN 的基线。
• 分解 + U-Net 结合权重调整损失和数据扩增显著提升性能，达到 F1 = 0.693 和 Relax F1 = 0.812（U-Net-DeWA）。
• 对原始数据的朴素 U-Net 性能较差（F1 0.403），但分解结合调整后获得显著提升（F1 约 0.22–0.29）。
• 在线推断高效：在流式部署下，异常标记成本较低（每点预测少于 10 ms；在线分解约 100 ms）。
• 该方法已作为公开在线服务在阿里巴巴部署并广泛用于生产，在公开基准上优于若干竞争方法。