[论文解读] Real-time Anomaly Detection for Multivariate Data Streams

Kenneth Odoh|arXiv (Cornell University)|Sep 26, 2022

Data Stream Mining Techniques被引用 5

一句话总结

本文提出了一种基于概率指数加权移动平均（PEWMA）的实时、无监督多变量异常检测算法，能够处理数据流中的突发性和渐进性概念漂移。该算法采用增量在线学习与自适应阈值机制，并通过Sherman-Morrison公式在线估计协方差矩阵及其逆矩阵，保持统计稳健性，在分布偏移下仍能实现低错误率。

ABSTRACT

We present a real-time multivariate anomaly detection algorithm for data streams based on the Probabilistic Exponentially Weighted Moving Average (PEWMA). Our formulation is resilient to (abrupt transient, abrupt distributional, and gradual distributional) shifts in the data. The novel anomaly detection routines utilize an incremental online algorithm to handle streams. Furthermore, our proposed anomaly detection algorithm works in an unsupervised manner eliminating the need for labeled examples. Our algorithm performs well and is resilient in the face of concept drifts.

研究动机与目标

• 开发一种适用于多变量数据流的无监督、实时异常检测系统，能够适应概念漂移。
• 将单变量PEWMA扩展至多变量场景，同时保持统计严谨性与在线效率。
• 通过实现完全在线、增量学习并最小化内存开销，消除对标注数据的依赖。
• 评估算法在各种信号偏移下的鲁棒性：突发瞬态、突发分布性及渐进分布性变化。
• 对比增量在线协方差估计与静态批量估计在准确率与收敛性方面的表现。

提出的方法

• 该算法采用概率指数加权移动平均（PEWMA）建模流数据，基于数据概率实现自适应遗忘机制。
• 采用源自Igel等人（2006）的在线协方差矩阵估计技术，随新数据到达增量更新。
• 利用Sherman-Morrison公式计算协方差矩阵的逆矩阵，以保持计算效率。
• 应用Cholesky分解以确保协方差矩阵的正定性与数值稳定性。
• 通过归一化残差度量计算异常得分，采用绝对平均偏差（AAD）作为评估损失函数。
• 该方法分为两个阶段：首先在数据窗口上进行静态初始训练，随后通过自适应阈值持续进行在线更新。

实验结果

研究问题

• RQ1 所提出的基于PEWMA的算法在突发性和渐进性概念漂移下，对多变量数据流中的异常检测效果如何？
• RQ2 在检测准确率方面，初始静态窗口大小与在线更新窗口大小之间存在何种权衡？
• RQ3 该算法是否能在无标注数据或异常模式先验知识的情况下，保持低错误率与高鲁棒性？
• RQ4 与批量协方差估计相比，增量协方差估计在收敛性与稳定性方面表现如何？
• RQ5 使用AAD作为损失度量是否能提供比MSE或MAD更紧的误差界，从而提升对大残差的敏感性？

主要发现

• 在更大初始静态窗口上进行训练时，算法错误率更低，证实了更多初始数据有助于模型稳定性。
• 训练初期错误率最高，表明需要正定初始化或早期收敛策略。
• 该算法对初始化种子和矩阵维度不敏感，表明在不同配置下均表现出良好鲁棒性。
• 使用AAD作为损失度量相比MSE或MAD能提供更紧的误差界，提升了对大残差的敏感性。
• 增量在线协方差估计性能与批量估计相当，尤其在处理更多数据后表现更优。
• 该方法成功应对了三类信号偏移：突发瞬态、突发分布性及渐进分布性偏移。