[论文解读] Tracking Temporal Evolution of Network Activity for Botnet Detection

Kapil Sinha, Arun Viswanathan+1 more|arXiv (Cornell University)|Aug 9, 2019

Network Security and Intrusion Detection参考文献 19被引用 12

一句话总结

本文提出了一种新颖的、与内容无关的僵尸网络检测方法，通过基于图的特征和长短期记忆（LSTM）网络追踪网络通信结构的时间演化。通过建模主机通信图的时间序列特征，该方法在CTU-13数据集上实现了96.2%的准确率和94.6%的真正例率，优于现有与内容无关的方法，并在多种僵尸网络类型中表现出强大的泛化能力。

ABSTRACT

Botnets are becoming increasingly prevalent as the primary enabling technology in a variety of malicious campaigns such as email spam, click fraud, distributed denial-of-service (DDoS) attacks, and cryptocurrency mining. Botnet technology has continued to evolve rapidly making detection a very challenging problem. There is a fundamental need for robust detection methods that are insensitive to characteristics of a specific botnet and are generalizable across different botnet types. We propose a novel supervised approach to detect malicious botnet hosts by tracking a host's network activity over time using a Long Short-Term Memory (LSTM) based neural network architecture. We build a prototype to demonstrate the feasibility of our approach, evaluate it on the CTU-13 dataset, and compare our performance against existing detection methods. We show that our approach results in a more generalizable, botnet-agnostic detection methodology, is amenable to real-time implementation, and performs well compared to existing approaches, with an overall accuracy score of 96.2%.

研究动机与目标

• 解决传统基于签名或启发式方法难以检测的、持续演化的、协议和内容无关的僵尸网络的挑战。
• 开发一种对特定僵尸网络特征（如加密或控制协议）不敏感的可泛化、鲁棒的检测框架。
• 通过利用网络通信模式的时间序列建模，实现实时检测。
• 通过捕捉主机通信结构中的时间动态，提升现有基于异常检测和基于图的方法的检测性能。
• 在CTU-13等基准数据集上，证明内容无关的、基于图的时间序列方法的可行性和优越性。

提出的方法

• 该方法从网络数据包捕获中构建时间锁定的通信图，将每个主机表示为节点，主机间通信表示为边。
• 在每个时间间隔内，为每台主机提取十项基于图的特征，包括度数、聚类系数、介数、特征向量中心性等，使用graph-tool库实现。
• 将这些特征聚合为每台主机的时间序列，以捕捉其网络行为随时间的演化。
• 使用长短期记忆（LSTM）神经网络对这些时间序列输入进行训练，以将主机分类为恶意或良性。
• 该方法与内容无关，仅依赖于通信结构，因此对数据包加密和协议混淆具有鲁棒性。
• 模型训练采用监督分类方法，使用CTU-13数据集中的标注数据，重点关注命令与控制、DDoS和P2P僵尸网络场景。

实验结果

研究问题

• RQ1 与现有基于签名或内容的方法相比，一种与内容无关的、基于图的时间序列方法是否能更有效地检测多种僵尸网络类型？
• RQ2 与静态或基于流的方法相比，建模主机通信结构的时间演化在多大程度上提升了检测性能？
• RQ3 该方法在不同僵尸网络家族（包括P2P和C2型僵尸网络）之间具有多大程度的泛化能力？
• RQ4 特征提取中的计算瓶颈是什么？是否可以在不牺牲模型准确率的前提下加以缓解？
• RQ5 该方法在标准化基准测试中与最先进的与内容无关及与内容相关的僵尸网络检测系统相比，性能如何？

主要发现

• 所提方法在CTU-13数据集的组合场景6、7、10、11和12上实现了96.2%的整体准确率，显著优于现有与内容无关的方法。
• 真正例率（TPR）达到94.6%，超过同一数据集上最先进的TPR 0.809，尽管假正例率略高，为0.037。
• 该方法具有96.3%的高特异性，表明其在正确识别良性主机方面表现优异。
• 由于共享通信结构模式，该方法在包括命令与控制、DDoS和对等僵尸网络在内的多种僵尸网络类型中均表现出良好的泛化能力。
• 主要计算瓶颈在于图特征提取，场景10在单核机器上耗时7,000分钟，主要由于多重图表示中存在重复边。
• 未来改进措施如加权边聚合、并行化和GPU加速有望显著缩短预处理时间，且不影响模型准确率。