[论文解读] Network Traffic Decomposition for Anomaly Detection

Tahereh Babaie, Sanjay Chawla+1 more|arXiv (Cornell University)|Mar 2, 2014

Network Security and Intrusion Detection参考文献 3被引用 8

一句话总结

本文提出了一种基于流时间序列构建的Hankel矩阵的谱分解的多变量奇异谱分析（M-SSA）统一异常检测框架，用于网络流量异常检测。通过捕捉时间相关性（DoS）和空间相关性（端口扫描），该方法在真实和合成流量数据上比PCA或小波方法更有效地检测多种异常，且通过严格的参数敏感性分析实现了优越的检测率。

ABSTRACT

In this paper we focus on the detection of network anomalies like Denial of Service (DoS) attacks and port scans in a unified manner. While there has been an extensive amount of research in network anomaly detection, current state of the art methods are only able to detect one class of anomalies at the cost of others. The key tool we will use is based on the spectral decomposition of a trajectory/hankel matrix which is able to detect deviations from both between and within correlation present in the observed network traffic data. Detailed experiments on synthetic and real network traces shows a significant improvement in detection capability over competing approaches. In the process we also address the issue of robustness of anomaly detection systems in a principled fashion.

研究动机与目标

• 解决现有异常检测系统一次仅能检测一类异常（如DoS或端口扫描）的局限性。
• 开发一种统一框架，能够同时检测拒绝服务（DoS）和端口扫描攻击。
• 利用轨迹/Hankel矩阵的谱分解，对流内与流间相关性的偏离进行建模与检测。
• 通过严格分析参数配置并在真实网络轨迹上验证，提高异常检测的鲁棒性。
• 引入一条来自日本-美国骨干链路的新标注数据集，用于异常检测方法的基准测试。

提出的方法

• 从多变量网络流时间序列构建Hankel矩阵，其中每一行代表流数据的时间延迟窗口。
• 对Hankel矩阵应用奇异值分解（SVD），提取代表正常流量行为底层流形的低秩分量。
• 将观测流量与重构流量之间的残差（y(t) - ŷ(t)）作为检测统计量，当残差超过阈值时识别为异常。
• 将方法扩展至多变量SSA（M-SSA），以联合建模多个流，并检测违反空间或时间相关性的异常。
• 通过对角平均化（Hankel化）将矩阵分解结果重构为时间序列分量，以增强可解释性与验证性。
• 在真实和合成网络轨迹上，将M-SSA性能与PCA、小波、傅里叶分析、卡尔曼滤波及ASTUTE方法进行对比。

实验结果

研究问题

• RQ1 Hankel矩阵的谱分解是否能在统一框架中检测到DoS与端口扫描异常？
• RQ2 M-SSA在检测偏离时间或空间相关性的异常时，相较于PCA与小波方法表现如何？
• RQ3 窗口长度与秩选择对异常检测性能与鲁棒性有何影响？
• RQ4 该方法是否能检测到因局部偏差而被标准相关性SVD遗漏的异常？
• RQ5 在具有非平稳行为的真实网络流量中，该方法表现如何？

主要发现

• M-SSA在真实和合成网络轨迹上检测DoS与端口扫描异常方面，显著优于PCA、小波、傅里叶分析、卡尔曼滤波及ASTUTE方法。
• 该方法成功检测到因局部相关性破坏而被标准SVD遗漏的端口扫描异常，此类异常通过时间延迟Hankel矩阵构造得以捕捉。
• DoS攻击通过破坏时间相关性，可在Hankel矩阵低秩近似后的残差分析中被有效检测。
• Hankel矩阵的使用使得该方法能够检测违反流内与流间相关性的异常，从而实现统一检测方法。
• 鲁棒性分析表明，M-SSA在多种窗口长度与秩配置下均保持高检测性能，且在干净数据中未相关残差的误报率极低。
• 引入一条来自日本-美国骨干链路的新标注数据集，为未来异常检测研究提供了宝贵基准。