[论文解读] On generating network traffic datasets with synthetic attacks for intrusion detection

Carlos García Cordero, Emmanouil Vasilomanolakis+3 more|arXiv (Cornell University)|May 1, 2019

Network Security and Intrusion Detection被引用 4

一句话总结

该论文介绍了ID2T，一个开源工具包，通过将真实、带标签的攻击注入真实背景网络流量中，生成合成的网络攻击流量，同时保留原始流量的统计特性，以确保攻击的隐蔽性。其主要贡献在于提出了一种可复现、保护隐私的方法，用于创建高保真度的入侵检测数据集，而无需依赖过时或私有的数据集。

ABSTRACT

Most research in the area of intrusion detection requires datasets to develop, evaluate or compare systems in one way or another. In this field, however, finding suitable datasets is a challenge on to itself. Most publicly available datasets have negative qualities that limit their usefulness. In this article, we propose ID2T (Intrusion Detection Dataset Toolkit) to tackle this problem. ID2T facilitates the creation of labeled datasets by injecting synthetic attacks into background traffic. The injected synthetic attacks blend themselves with the background traffic by mimicking the background traffic's properties to eliminate any trace of ID2T's usage. This work has three core contribution areas. First, we present a comprehensive survey on intrusion detection datasets. In the survey, we propose a classification to group the negative qualities we found in the datasets. Second, the architecture of ID2T is revised, improved and expanded. The architectural changes enable ID2T to inject recent and advanced attacks such as the widespread EternalBlue exploit or botnet communication patterns. The toolkit's new functionality provides a set of tests, known as TIDED (Testing Intrusion Detection Datasets), that help identify potential defects in the background traffic into which attacks are injected. Third, we illustrate how ID2T is used in different use-case scenarios to evaluate the performance of anomaly and signature-based intrusion detection systems in a reproducible manner. ID2T is open source software and is made available to the community to expand its arsenal of attacks and capabilities.

研究动机与目标

• 解决长期存在的公开入侵检测数据集不可靠、过时或不完整的问题。
• 克服现有数据集的局限性，如过时的流量特征、缺乏标签攻击以及隐私问题。
• 提供一个可复现且可扩展的框架，用于生成带有合成攻击的标签化网络流量数据集。
• 使研究人员能够在不访问敏感或专有数据的情况下，对现代、真实的流量进行入侵检测系统（NIDS）评估。
• 支持创建反映当前网络行为和新兴威胁（如EternalBlue和僵尸网络通信模式）的数据集。

提出的方法

• 使用一种模仿原始流量统计特性的工具包，将合成攻击注入真实背景网络流量中，以避免被检测到。
• 改进并扩展ID2T架构，以支持现代、高级攻击，包括EternalBlue漏洞利用和僵尸网络通信模式。
• 集成一个新的测试模块TIDED，用于在攻击注入前验证背景流量的质量和真实性。
• 利用TIDED检测背景流量中潜在的缺陷，例如与预期网络特征（如骨干网行为）的不一致。
• 使研究人员能够通过指定背景流量和攻击参数来定制数据集，确保实验间的可复现性。
• 通过生成可使用已知签名或行为模式检测到的攻击，支持基于异常检测和基于签名的NIDS评估。

实验结果

研究问题

• RQ1 如何生成合成网络攻击流量，使其在保留真实背景流量统计特性的同时避免被检测？
• RQ2 现有公开入侵检测数据集的关键缺陷是什么？能否系统性地对其进行分类并加以解决？
• RQ3 像ID2T这样的工具包是否能够实现在不依赖静态数据集的前提下，对不同时间段和网络条件下的NIDS进行可复现评估？
• RQ4 ID2T在多大程度上能够生成真实、现代的攻击（如EternalBlue或僵尸网络C&C流量），以反映当前的威胁态势？
• RQ5 如何对攻击与背景流量之间的交互进行建模，以提升真实性，特别是在网络级副作用（如重传或窗口大小变化）方面？

主要发现

• ID2T通过复制背景流量的统计特性，成功生成与背景流量无缝融合的合成攻击，使工具包的存在无法被检测到。
• TIDED模块能有效识别背景流量中的缺陷，如与预期骨干网行为的偏差，从而在攻击注入前提升数据集质量。
• ID2T能够复现过去NIDS评估结果（如基于RNN的检测），在现代网络流量上实现跨时间维度的验证，证明了其在跨时期验证中的实用性。
• 基于签名的NIDS（如Bro和Suricata）成功检测到ID2T注入的预期攻击，证实了该工具在验证实际系统行为方面的有效性。
• ID2T支持注入高级、现代攻击（如EternalBlue和僵尸网络通信），扩展了其在当前威胁模型中的相关性。
• 该工具包提供了一种可扩展、保护隐私的静态数据集替代方案，使研究人员能够按需生成自定义、带标签的数据集，而无需面临数据共享或匿名化问题。