[论文解读] Network Anomaly Detection: A Survey and Comparative Analysis of Stochastic and Deterministic Methods

Jing Wang, Daniel Rossell+2 more|arXiv (Cornell University)|Sep 19, 2013

Network Security and Intrusion Detection参考文献 27被引用 8

一句话总结

本文在包含流量级异常和DDoS攻击的模拟网络中，评估了五种基于主机的网络异常检测方法——两种随机方法（无模型统计假设检验和基于模型的统计假设检验）、两种确定性方法（流1类SVM和窗口1类SVM）以及一种基于聚类的方法（ART）。研究发现，通过结合多种方法的结果，可在检测分辨率与稳定性之间取得平衡，从而提升整体检测性能。

ABSTRACT

We present five methods to the problem of network anomaly detection. These methods cover most of the common techniques in the anomaly detection field, including Statistical Hypothesis Tests (SHT), Support Vector Machines (SVM) and clustering analysis. We evaluate all methods in a simulated network that consists of nominal data, three flow-level anomalies and one packet-level attack. Through analyzing the results, we point out the advantages and disadvantages of each method and conclude that combining the results of the individual methods can yield improved anomaly detection results.

研究动机与目标

• 在真实的模拟网络环境中，评估并比较代表性随机与确定性异常检测方法的性能。
• 通过开发定制化仿真工具，解决缺乏标注的、真实网络异常数据的问题，以生成流量级和报文级攻击数据集。
• 评估各方法在检测多样化异常（包括大文件传输、高访问频率和DDoS攻击）方面的优缺点。
• 探究结合多种检测方法的结果是否能相比单一方法，实现更优的整体检测性能。

提出的方法

• 采用包含正常流量和注入异常的模拟网络环境，异常类型包括大文件下载、高访问频率和DDoS攻击。
• 采用两种随机方法：基于大偏差理论（LDT）的无模型SHT，以及基于马氏链假设的基于模型SHT，用于将流量与概率模型进行对比。
• 应用两种确定性方法：流1类SVM，独立评估单个流量；窗口1类SVM，分析时间窗口内流量序列。
• 引入ART聚类方法，一种基于机器学习的方法，根据流量特征将网络流量划分为聚类，将异常值识别为潜在异常。
• 使用定制化软件工具——SADIT用于生成流量级异常数据，IMALSE用于生成报文级DDoS攻击数据，以提供带真实标签的训练与测试数据。
• 通过检测率、误报率和时间分辨率等指标评估方法性能，参数经调优以实现最佳表现。

实验结果

研究问题

• RQ1 随机与确定性异常检测方法在检测流量级异常（如大文件传输和访问频率增加）方面表现如何比较？
• RQ2 基于窗口的检测方法与基于流的检测方法在识别时间异常（如DDoS攻击）方面性能有何差异？
• RQ3 在不同类型的异常下，各类方法的误报率与检测分辨率如何变化？
• RQ4 结合多种检测方法的输出是否能相比单一方法，实现更高的整体检测准确率与鲁棒性？

主要发现

• 无模型SHT与基于模型SHT方法在检测时间异常（如访问频率增加）方面表现良好，因其依赖经验度量的变化；但在所有用户同步改变速率时表现不佳。
• 流1类SVM与ART聚类方法具有高分辨率，可检测单个异常流量，但误报率较高且稳定性较差。
• 窗口1类SVM与基于窗口的SHT方法提供更稳定的检测，误报率较低，但因聚合处理而无法识别具体异常流量。
• DDoS攻击最易被窗口1类SVM与无模型SHT检测到，而ART聚类方法因恶意流量量过大而超出聚类阈值，导致失效。
• 流1类SVM无法检测基于速率的异常，因其独立评估各流量，无法识别传输频率的变化。
• 结合多种方法的结果可实现更优的整体性能，通过平衡检测稳定性与流量级分辨率。