[论文解读] Real-Time Anomaly Detection for Advanced Manufacturing: Improving on Twitter's State of the Art

Caitríona M. Ryan, Andrew Parnell+1 more|arXiv (Cornell University)|Nov 13, 2019

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出 R-ESD，一种用于先进制造中流式时间序列数据的统计上合理、实时的异常检测算法。通过使用滚动窗口和基于均值的标准化递归更新广义极端学生化偏差（ESD）检验统计量，R-ESD 实现了低内存、实时检测，在工业数据集和基准数据集上均优于 Twitter 的 SH-ESD 及其他基线方法，在精确率、召回率和早期异常检测方面表现更优。

ABSTRACT

The detection of anomalies in real time is paramount to maintain performance and efficiency across a wide range of applications including web services and smart manufacturing. This paper presents a novel algorithm to detect anomalies in streaming time series data via statistical learning. We adapt the generalised extreme studentised deviate test [1] to streaming data by using a sliding window approach. This is made computationally feasible by recursive updates of the Grubbs test statistic [2]. Moreover, a priority queue [3] is employed to reduce memory requirements, where subsets of the required data streaming window are maintained in the algorithm rather than the full list. Our method is statistically principled. It is suitable for streaming data and it outperforms the AnomalyDetection software package, recently released by Twitter Inc. (Twitter) [4] and used by multiple teams at Twitter as their state of the art on a daily basis [5]. The methodology is demonstrated using an example of unlabelled data from the Twitter AnomalyDetection GitHub repository and using a real manufacturing example with labelled anomalies.

研究动机与目标

• 开发一种用于先进制造中流式时间序列数据的实时、低内存异常检测方法。
• 解决 Twitter 的 SH-ESD 在统计和计算方面的局限性，特别是其使用中位数和 MAD 进行学生化处理以及非重叠窗口的问题。
• 通过在滚动窗口中递归更新 ESD 检验统计量，实现实时流式检测。
• 提高工业传感器数据中异常的检测准确性和早期预警能力。
• 在基准数据集和真实世界数据集上超越现有最先进方法，包括 SH-ESD、EGADS 和 DeepADVote。

提出的方法

• R-ESD 算法首先通过时间序列分解估计并去除趋势和季节性成分。
• 在流式数据的滑动窗口内，对残差应用广义 ESD 检验，并通过递归更新检验统计量实现。
• 通过使用均值和标准差对检验统计量进行递归更新，实现正确的学生化处理，使其与 ESD 检验的理论分布保持一致。
• 利用 TSA 包中的周期图函数通过傅里叶变换估计季节性周期。
• 通过将检验统计量与从 ESD 分布推导出的临界值进行比较来检测异常，每个窗口可测试多个异常点。
• 该方法通过最小化内存使用量并实现在每个数据点上的常数时间更新，支持实时部署。

实验结果

研究问题

• RQ1 能否将广义 ESD 检验的统计上合理版本适配于实时流式时间序列数据？
• RQ2 在学生化处理中，用均值和标准差替代中位数和 MAD 是否能提升异常检测性能并降低第一类错误率？
• RQ3 能否通过递归更新 ESD 检验统计量实现在滚动窗口中的低内存、实时异常检测？
• RQ4 R-ESD 在检测工业和基准数据集中的异常时，与 Twitter 的 SH-ESD 及其他最先进方法相比表现如何？
• RQ5 R-ESD 是否能比现有方法更早检测到细微、渐进式的异常，特别是在制造场景中？

主要发现

• 在 Numenta 机器温度数据集上，R-ESD 的精确率为 0.004，召回率为 0.25，成功识别出 SH-ESD 未能检测到的第一个异常。
• SH-ESD 在同一数据集上未能检测到任何异常，精确率和召回率均为 0.0。
• 在 Yahoo EGADS A3 基准测试中，R-ESD 的 F1 分数超过 0.75，优于 EGADS（F1 < 0.7）和 DeepADVote（第 25 百分位数 F1 = 0.3）。
• R-ESD 处理 20,000 个窗口仅需 0.0005 秒/窗口，展现出极高的计算效率，适用于实时流式处理。
• 该算法正确检测到导致灾难性故障的渐进式温度下降，展示了对工业维护至关重要的早期预警能力。
• R-ESD 使用基于均值的学生化处理在统计上更为合理，避免了 SH-ESD 中使用中位数和 MAD 所导致的重尾分布问题。