[论文解读] VELC: A New Variational AutoEncoder Based Model for Time Series Anomaly Detection

Chunkai Zhang, Shaocong Li+2 more|arXiv (Cornell University)|Jul 3, 2019

Anomaly Detection Techniques and Applications参考文献 24被引用 33

一句话总结

VELC 引入一个带重编码器的变分自编码器和潜在约束网络，通过在两个空间中评估重构和潜在空间的差异来提升时间序列异常检测，在多个数据集上优于基线。

ABSTRACT

Anomaly detection is a classical but worthwhile problem, and many deep learning-based anomaly detection algorithms have been proposed, which can usually achieve better detection results than traditional methods. In view of reconstruct ability of the model and the calculation of anomaly score, this paper proposes a time series anomaly detection method based on Variational AutoEncoder model(VAE) with re-Encoder and Latent Constraint network(VELC). In order to modify reconstruct ability of the model to prevent it from reconstructing abnormal samples well, we add a constraint network in the latent space of the VAE to force it generate new latent variables that are similar with that of training samples. To be able to calculate anomaly score in two feature spaces, we train a re-encoder to transform the generated data to a new latent space. For better handling the time series, we use the LSTM as the encoder and decoder part of the VAE framework. Experimental results of several benchmarks show that our method outperforms state-of-the-art anomaly detection methods.

研究动机与目标

• 为高维时间序列实现鲁棒的无监督异常检测提供动机。
• 开发基于 VAE 的框架，在提高正常数据重构准确性的同时限制异常样本的重构。
• 实现原始特征空间和潜在特征空间中的异常评分，以提升检测准确性。
• 在潜在空间中加入一个约束网络，以防止对看不见的异常过度泛化。

提出的方法

• 在 VAE 中使用一个双向 LSTM 编码器/解码器来建模正常时间序列。
• 引入一个重编码器，将重构数据映射到一个新的潜在空间并产生新的潜在变量。
• 在潜在空间添加一个约束网络，结合正常潜在向量通过稀疏、基于余弦相似度的方案来约束异常的重构。
• 定义一个多项损失 L_VELC = L_rec_x + L_KL1 + L_lat + L_KL2，用于在正常数据上训练模型。
• 将异常分数 A(x) 计算为重构误差和潜在空间相异性的加权和：A(x)=alpha||x−x'||1 + beta||z'−re_z'||1，归一化到 [0,1]。
• 利用两个特征空间（原始和潜在）进行异常评分，以提高判别能力。

实验结果

研究问题

• RQ1 VELC 框架是否在多样化的时间序列数据集上提升了相对于现有方法的异常检测性能？
• RQ2 引入重编码器和潜在约束网络如何影响正常样本与异常样本的重构和潜在空间误差？
• RQ3 双空间异常评分（原始空间与潜在空间）是否比单一空间评分更能得到更准确的检测？
• RQ4 异常分数参数设置（alpha、beta）对总体性能有何影响？

主要发现

名称	OUR*	ANOGAN	ALAD	MLP-VAE	IForest
KDD99	0.958	0.887	0.950	0.622	0.929
Arrhythmia	0.789	0.576	0.648	0.747	0.530
ItalyPowerDemand	0.807	0.516	0.538	0.768	0.763
TwoLeadECG	0.948	0.554	0.515	0.731	0.760
GunPointAgeSpan	0.844	0.515	0.547	0.821	0.612
MoteStrain	0.801	0.746	0.504	0.750	0.762
ToeSegmentation2	0.835	0.547	0.544	0.816	0.787
Herring	0.722	0.488	0.569	0.627	0.698
Wafer	0.967	0.558	0.587	0.790	0.847
ECGFiveDays	0.988	0.970	0.694	0.910	0.678

• VELC 在十个数据集上优于若干基线方法（AnoGAN、ALAD、MLP-VAE、Isolation Forest）。
• 在 KDD99 上，VELC 获得 AUC=0.958，超过次优方法（ANOGAN）的 0.887。
• 在各数据集上，VELC 相对于基线显示大约1%–5%的相对提升。
• 参数设置在 alpha=0.6,beta=0.4 时表现较好。
• 潜在空间约束有助于防止对看不见异常的过度重构，提升检测鲁棒性。
• 可视化显示正常样本被平滑重构，而异常样本则表现出更大的重构和潜在空间差异。