[论文解读] Network Phenotyping for Network Traffic Classification and Anomaly Detection

Minhui Zou, Chengliang Wang+2 more|arXiv (Cornell University)|Mar 5, 2018

Network Security and Intrusion Detection参考文献 13被引用 3

一句话总结

该论文提出了一种网络表型分析框架，通过图像处理与机器学习技术对网络流量模式进行分类，并在信息物理系统（CPS）中检测异常。通过将网络资源使用情况转化为时空纹理特征，并结合主成分分析（PCA）降维与k-NN分类，该方法在分类四种真实世界去中心化应用时准确率超过95%，并能有效检测异常流量，使吞吐量提升10%至30%。

ABSTRACT

This paper proposes to develop a network phenotyping mechanism based on network resource usage analysis and identify abnormal network traffic. The network phenotyping may use different metrics in the cyber physical system (CPS), including resource and network usage monitoring, physical state estimation. The set of devices will collectively decide a holistic view of the entire system through advanced image processing and machine learning methods. In this paper, we choose the network traffic pattern as a study case to demonstrate the effectiveness of the proposed method, while the methodology may similarly apply to classification and anomaly detection based on other resource metrics. We apply image processing and machine learning on the network resource usage to extract and recognize communication patterns. The phenotype method is experimented on four real-world decentralized applications. With proper length of sampled continuous network resource usage, the overall recognition accuracy is about 99%. Additionally, the recognition error is used to detect the anomaly network traffic. We simulate the anomaly network resource usage that equals to 10%, 20% and 30% of the normal network resource usage. The experiment results show the proposed anomaly detection method is efficient in detecting each intensity of anomaly network resource usage.

研究动机与目标

• 解决低资源CPS设备在面临恶意软件与远程攻击时的可验证性信任问题。
• 克服现有远程认证方法在大规模CPS部署中缺乏可扩展性与动态行为分析能力的局限。
• 开发一种可扩展、轻量级的方法，仅基于网络资源使用度量对网络流量模式进行分类并检测异常。
• 通过分析网络资源使用的时间与空间特征，实现实时监控CPS设备，且无需高带宽或高计算开销。
• 证明网络表型可作为去中心化CPS应用中整体、系统级信任验证机制的可行性。

提出的方法

• 使用空间特征提取技术将时间序列网络资源使用数据转换为类似2D纹理的表示形式。
• 利用图像处理方法从每个时间点的网络使用模式中提取空间纹理特征。
• 分析提取的纹理特征在时间窗口内的时序演化，以捕捉动态通信模式。
• 应用主成分分析（PCA）在保留95%信息的前提下降低特征维度，将210维数据压缩至11维。
• 使用优化k值的k-NN分类器，基于降维后的特征集识别通信模式。
• 基于识别准确率设置阈值型异常检测机制；将低于95%阈值的偏差标记为异常行为。

实验结果

研究问题

• RQ1 网络资源使用模式能否被有效转化为类似图像的表示形式，以实现CPS中通信行为的精确分类？
• RQ2 结合网络资源使用的时间与空间分析，在多大程度上可提升去中心化应用的分类准确率？
• RQ3 该方法在检测具有不同强度（10%、20%、30%）吞吐量增加的异常网络流量方面效果如何？
• RQ4 该方法在通过降维与轻量级分类降低计算开销的同时，能否保持高准确率？
• RQ5 滑动窗口大小如何影响通信模式检测的识别准确率与时间粒度之间的权衡？

主要发现

• 当滑动窗口大小为190秒时，所提出的网络表型方法识别准确率超过95%，其中DGD应用的最高准确率达97%。
• 在100秒滑动窗口下，方法在准确率与粒度之间取得良好平衡，聚合、广播、共识与DGD应用的准确率分别为93%、90%、93%与97%。
• 当模拟10%吞吐量增加的网络异常时，识别准确率显著下降——例如，聚合应用的准确率从93%降至78%，表明异常检测有效。
• 对于20%与30%的异常强度，识别准确率进一步下降（例如，聚合应用分别降至60%与46%），证实该方法对异常行为具有高度敏感性。
• 95%的异常检测阈值在所有应用中均成功识别出异常流量，即使在高强度攻击（吞吐量增加30%）下，40次测试中的检测准确率仍保持稳定。
• 通过PCA进行降维在保留95%信息的同时，将特征空间从210维减少至11维，显著降低计算成本，且未牺牲性能。