[论文解读] Time Series Anomaly Detection: Detection of Anomalous Drops with Limited Features and Sparse Examples in Noisy Periodic Data

Dominique T. Shipmon, Jason M. Gurevitch+2 more|arXiv (Cornell University)|Aug 11, 2017

Anomaly Detection Techniques and Applications参考文献 2被引用 61

一句话总结

本文提出一种混合机器学习与基于规则的方法，用于在标注数据有限的情况下，检测噪声大、具有周期性的流量时间序列中的持续异常下降。该方法使用TensorFlow训练DNN、RNN和LSTM进行回归，随后应用基于规则的异常检测方法，比较实际值与预测值；两种检测方法的交集在所有模型中均表现出高度有效性，尽管非周期性数据无法被预测。

ABSTRACT

Google uses continuous streams of data from industry partners in order to deliver accurate results to users. Unexpected drops in traffic can be an indication of an underlying issue and may be an early warning that remedial action may be necessary. Detecting such drops is non-trivial because streams are variable and noisy, with roughly regular spikes (in many different shapes) in traffic data. We investigated the question of whether or not we can predict anomalies in these data streams. Our goal is to utilize Machine Learning and statistical approaches to classify anomalous drops in periodic, but noisy, traffic patterns. Since we do not have a large body of labeled examples to directly apply supervised learning for anomaly classification, we approached the problem in two parts. First we used TensorFlow to train our various models including DNNs, RNNs, and LSTMs to perform regression and predict the expected value in the time series. Secondly we created anomaly detection rules that compared the actual values to predicted values. Since the problem requires finding sustained anomalies, rather than just short delays or momentary inactivity in the data, our two detection methods focused on continuous sections of activity rather than just single points. We tried multiple combinations of our models and rules and found that using the intersection of our two anomaly detection methods proved to be an effective method of detecting anomalies on almost all of our models. In the process we also found that not all data fell within our experimental assumptions, as one data stream had no periodicity, and therefore no time based model could predict it.

研究动机与目标

• 解决在标注样本极少的情况下，检测噪声大、具有周期性的流量数据流中持续异常下降的挑战。
• 克服因真实工业时间序列中异常标注数据稀缺而导致的监督学习局限性。
• 开发一种鲁棒的异常检测系统，识别与预期模式的长期偏离，而非瞬时脉冲或间隙。
• 评估多种深度学习模型（DNN、RNN、LSTM）在预测异常检测所需预期值方面的表现。
• 评估基于规则的异常检测方法在不同数据模式下，通过比较实际值与模型预测值的性能。

提出的方法

• 使用TensorFlow训练深度神经网络（DNN）、循环神经网络（RNN）和长短期记忆网络（LSTM），用于时间序列回归，以预测预期值。
• 应用基于规则的异常检测方法，通过比较实际观测值与模型预测值来识别偏差。
• 将检测重点放在连续的活动段落上，而非孤立的数据点，以识别持续异常。
• 通过取两种异常检测方法——基于预测误差和时间连续性——的交集，提高检测的可靠性。
• 在多种配置和数据流上评估模型性能，包括一条不具周期性的数据流。
• 将检测规则的交集作为最终决策机制，以减少误报并提高鲁棒性。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，混合机器学习与基于规则的方法能否有效检测噪声大、具有周期性的时序数据中的持续异常下降？
• RQ2 不同深度学习架构（DNN、RNN、LSTM）在工业流量数据中预测预期值以用于异常检测方面的表现如何？
• RQ3 结合多种异常检测规则在多大程度上能提升检测的准确性和可靠性？
• RQ4 当应用于非周期性数据流时，基于时间的模型存在哪些局限性？
• RQ5 两种检测方法的交集是否能持续优于单一方法，以更准确识别真实异常？

主要发现

• 基于预测误差和时间连续性两种异常检测方法的交集，被证明是在所有测试模型中检测异常的有效策略。
• 使用TensorFlow训练的模型（DNN、RNN、LSTM）在大多数数据流中成功捕捉了周期性模式，并实现了对预期值的准确预测。
• 该方法成功检测到持续异常，避免了因短暂下降或短期停机导致的误报。
• 一条数据流未表现出周期性，导致基于时间的模型无法有效预测，凸显了该方法的关键局限性。
• 混合方法在多种数据形态和噪声水平下表现出鲁棒性，表明其在真实场景中具有强大的泛化潜力。
• 通过实际值与预测值的基于规则比较，提供了一种可靠的机制，用于识别有意义的偏差，且无需大量标注数据。