[论文解读] Online Anomaly Detection Systems Using Incremental Commute Time

Nguyen Lu Dang Khoa, Sanjay Chawla|arXiv (Cornell University)|Jul 20, 2011

Anomaly Detection Techniques and Applications参考文献 21被引用 3

一句话总结

本文提出了两种新颖的增量方法，用于实时计算通行时间距离（CTD）：一种基于图拉普拉斯矩阵的增量特征分解，另一种基于递归 hitting time 近似。两种方法均实现了每个新数据点的常数时间更新，支持在线异常检测，在大规模图（30万+个节点）上平均处理时间低于7ms，运行速度优于批处理方法，同时在检测全局和局部异常方面保持了高精度。

ABSTRACT

Commute Time Distance (CTD) is a random walk based metric on graphs. CTD has found widespread applications in many domains including personalized search, collaborative filtering and making search engines robust against manipulation. Our interest is inspired by the use of CTD as a metric for anomaly detection. It has been shown that CTD can be used to simultaneously identify both global and local anomalies. Here we propose an accurate and efficient approximation for computing the CTD in an incremental fashion in order to facilitate real-time applications. An online anomaly detection algorithm is designed where the CTD of each new arriving data point to any point in the current graph can be estimated in constant time ensuring a real-time response. Moreover, the proposed approach can also be applied in many other applications that utilize commute time distance.

研究动机与目标

• 为实现实时在线异常检测，利用通行时间距离（CTD），该方法通常因特征分解的 O(n³) 时间复杂度而难以进行增量更新。
• 解决在新数据点动态到达时，高效计算 CTD 的挑战，而无需从头开始重新计算。
• 设计一种可扩展的、常数时间的 CTD 估计方法，适用于演化图，适合流式应用如网络监控或传感器数据。
• 比较两种不同的增量 CTD 近似技术——特征分解更新与递归 hitting time 估计——在准确性、速度和鲁棒性方面的表现。
• 在合成数据集和真实世界数据集（包括网络流量和环境监测数据）上验证所提出的方法。

提出的方法

• 第一种方法利用一阶扰动理论，对图拉普拉斯矩阵的特征值和特征向量进行增量更新，实现在演化图中的高效谱计算。
• 第二种方法利用 hitting time 与 commute time 之间的递归关系，通过动态更新 hitting time，实现每个新点的常数时间 CTD 估计。
• 两种方法均避免了对拉普拉斯矩阵特征分解的完整重计算，将时间复杂度从 O(n³) 降低至近线性或常数时间/次更新。
• 在线异常检测算法以常数时间计算每个新点与所有已有点的 CTD，将 CTD 值较高的点标记为异常。
• 该方法结合了最小-最大归一化以进行数据标准化，并基于 k-近邻或固定邻域半径构建图。
• 通过 iLED（基于增量特征分解）和 iECT（基于 hitting time 的增量 CTD）两种变体进行评估，并与批处理 CTD 计算方法进行性能对比。

实验结果

研究问题

• RQ1 是否能够以常数时间实现 CTD 的增量计算，以支持动态数据流中的实时异常检测？
• RQ2 在在线 CTD 计算中，增量特征分解与递归 hitting time 估计在准确性和效率方面如何比较？
• RQ3 所提出的两种方法在检测全局和局部异常方面，能在多大程度上保持 CTD 的鲁棒性？
• RQ4 与批处理方法相比，增量 CTD 方法是否能在降低计算成本的同时保持高检测精度？
• RQ5 两种增量方法在精确率与召回率之间存在何种权衡？是否可通过融合实现性能提升？

主要发现

• 所提出的增量 CTD 方法在节点数超过30万个、边数达百万的图上，每个新数据点的平均处理时间低于7ms，支持实时部署。
• 在 NICTA 网络数据集上，iECT（基于 hitting time 的增量 CTD）实现了100%的召回率和84.6%的精确率，召回率优于 iLED，同时保持可接受的精确率。
• 在合成数据集上，iLED 实现了100%的精确率，但召回率仅为66.7%，表明其对异常的 CTD 估计存在低估倾向。
• 在 NICTA 数据集上，iECT 的平均异常得分比批处理方法高2%，而 iLED 低2%，表明 iECT 稍微高估了非异常点。
• 在 NICTA 数据集上，iLED 的召回率为27.3%但精确率为100%，而 iECT 实现了100%的召回率和84.6%的精确率，证实了两种方法的互补优势。
• 结果表明，iECT 在速度和异常检测效果上更优，而 iLED 更为保守，提示可通过融合两种方法以提升整体检测精度。