[论文解读] Real-Time Streaming Anomaly Detection in Dynamic Graphs

Siddharth Bhatia, Rui Liu+4 more|arXiv (Cornell University)|Sep 17, 2020

Network Security and Intrusion Detection参考文献 46被引用 6

一句话总结

MIDAS-F 是一种实时、时间复杂度与空间复杂度均为常数的算法，用于检测动态图流中的微簇异常——即类似拒绝服务攻击中出现的异常相似边群组。它通过改进异常评分函数和条件合并步骤，减轻了‘污染’效应，相比最先进方法在 ROC-AUC 准确率上提升了 41% 至 55%，同时处理速度比现有最先进方法快 130 至 929 倍。

ABSTRACT

Given a stream of graph edges from a dynamic graph, how can we assign anomaly scores to edges in an online manner, for the purpose of detecting unusual behavior, using constant time and memory? Existing approaches aim to detect individually surprising edges. In this work, we propose MIDAS, which focuses on detecting microcluster anomalies, or suddenly arriving groups of suspiciously similar edges, such as lockstep behavior, including denial of service attacks in network traffic data. We further propose MIDAS-F, to solve the problem by which anomalies are incorporated into the algorithm's internal states, creating a 'poisoning' effect which can allow future anomalies to slip through undetected. MIDAS-F introduces two modifications: 1) We modify the anomaly scoring function, aiming to reduce the 'poisoning' effect of newly arriving edges; 2) We introduce a conditional merge step, which updates the algorithm's data structures after each time tick, but only if the anomaly score is below a threshold value, also to reduce the `poisoning' effect. Experiments show that MIDAS-F has significantly higher accuracy than MIDAS. MIDAS has the following properties: (a) it detects microcluster anomalies while providing theoretical guarantees about its false positive probability; (b) it is online, thus processing each edge in constant time and constant memory, and also processes the data 130 to 929 times faster than state-of-the-art approaches; (c) it provides 41% to 55% higher accuracy (in terms of ROC-AUC) than state-of-the-art approaches.

研究动机与目标

• 检测网络流量中出现的微簇异常——即突然出现的相似边群组，如拒绝服务攻击中的情况。
• 设计一种在线算法，确保每个边的处理时间与内存使用均为常数，从而实现实时可扩展性。
• 缓解‘污染’效应，即异常边通过污染算法内部状态，导致未来检测性能下降的问题。
• 在保持高速处理的同时，提升检测准确率，优于现有方法，适用于动态图流。

提出的方法

• MIDAS-F 修改了异常评分函数，以降低新到达的异常边对算法内部状态的影响。
• 引入条件合并步骤，仅当异常评分低于预设阈值时才更新数据结构，从而最小化异常信号的传播。
• 该算法在假阳性概率上保持理论保证，确保异常检测的可靠性。
• 它以在线方式运行，每个边的处理时间与内存使用均为常数，支持高吞吐量流处理。
• MIDAS-F 利用流式处理模型，边的更新按顺序处理，异常评分逐步计算。
• 该方法旨在检测相似边的簇群，而非单个突兀的边，聚焦于集体可疑行为。

实验结果

研究问题

• RQ1 我们能否在保持常数时间与常数空间复杂度的前提下，对动态图流中的微簇异常进行检测，并保证理论上的假阳性概率？
• RQ2 在在线环境中，异常边的‘污染’效应如何随时间降低检测性能？能否被有效缓解？
• RQ3 与 MIDAS 及最先进方法相比，MIDAS-F 中修改后的评分函数与条件合并步骤在检测准确率上的提升程度如何？
• RQ4 在处理真实世界图流工作负载时，MIDAS-F 在处理速度与准确率方面的可扩展性如何？

主要发现

• MIDAS-F 在动态图流数据上的 ROC-AUC 准确率比最先进方法高出 41% 至 55%。
• 由于其常数时间与常数内存设计，该算法处理数据的速度比现有最先进方法快 130 至 929 倍。
• MIDAS-F 中的条件合并步骤与修改后的异常评分函数显著减轻了‘污染’效应，提升了长期检测的可靠性。
• MIDAS-F 维持了对假阳性概率的理论保证，确保异常检测的稳健性。
• 该方法成功检测到网络流量中的微簇异常，如锁步行为，这类行为是拒绝服务攻击的典型特征。
• MIDAS-F 在准确率上优于 MIDAS，证明了其在实时流环境中抗污染机制的有效性。