[论文解读] PicoDomain: A Compact High-Fidelity Cybersecurity Dataset

Craig Laprade, Benjamin Bowman+1 more|arXiv (Cornell University)|Aug 20, 2020

Anomaly Detection Techniques and Applications参考文献 3被引用 5

一句话总结

PicoDomain 提供了一种紧凑且高保真的网络安全数据集，该数据集源自对真实工具、技术与程序（TTPs）在小型真实网络环境中实施的入侵行为的 Zeek 日志。该数据集通过保留真实标签且无需数据脱敏，实现了安全分析的快速验证与迭代开发，其有效性通过统计分析和现成的机器学习技术得到验证。

ABSTRACT

Analysis of cyber relevant data has become an area of increasing focus. As larger percentages of businesses and governments begin to understand the implications of cyberattacks, the impetus for better cybersecurity solutions has increased. Unfortunately, current cybersecurity datasets either offer no ground truth or do so with anonymized data. The former leads to a quandary when verifying results and the latter can remove valuable information. Additionally, most existing datasets are large enough to make them unwieldy during prototype development. In this paper we have developed the PicoDomain dataset, a compact high-fidelity collection of Zeek logs from a realistic intrusion using relevant Tools, Techniques, and Procedures. While simulated on a small-scale network, this dataset consists of traffic typical of an enterprise network, which can be utilized for rapid validation and iterative development of analytics platforms. We have validated this dataset using traditional statistical analysis and off-the-shelf Machine Learning techniques.

研究动机与目标

• 为解决缺乏适合原型开发的高保真、带真实标签的网络安全数据集的问题。
• 克服现有数据集要么缺乏真实标签，要么对敏感信息进行脱敏的局限性。
• 创建一个紧凑但具有代表性的数据集，反映企业级网络流量特征。
• 支持安全分析平台的快速验证与迭代开发。
• 确保数据集在不降低保真度的前提下，仍可用于机器学习与统计分析。

提出的方法

• 使用受控的小规模网络环境生成数据集，模拟真实世界中的网络入侵行为。
• 使用 Zeek（原名 Bro）网络监控工具记录入侵模拟期间的所有网络流量。
• 入侵场景整合了在企业环境中常见的真实工具、技术与程序（TTPs）。
• 数据集保留完整的网络元数据与连接细节，避免脱敏以维持分析价值。
• 通过统计分析验证流量模式的代表性。
• 应用现成的机器学习模型，评估数据集在异常检测与分类任务中的实用性。

实验结果

研究问题

• RQ1 能否从一次真实、小规模的网络入侵中，构建出一个紧凑且高保真的带真实标签数据集？
• RQ2 与脱敏版本相比，保留完整网络元数据是否显著提升数据集在安全分析中的实用性？
• RQ3 该数据集在多大程度上支持安全分析平台的快速验证与迭代开发？
• RQ4 当使用标准统计与机器学习技术评估时，该数据集的表现如何？
• RQ5 该数据集在协议多样性与连接行为方面是否具有企业级网络流量的代表性？

主要发现

• PicoDomain 数据集成功捕捉了企业环境中典型的网络行为，包括多样化的协议与连接模式。
• 通过保留完整的网络元数据，数据集维持了高保真度，支持无需数据脱敏的详细分析。
• 统计分析证实，该数据集的流量模式与真实企业网络活动具有代表性。
• 现成的机器学习模型在该数据集上取得了有意义的性能表现，验证了其在训练与测试安全分析系统方面的实用性。
• 与现有替代方案相比，该数据集的紧凑体积使其在原型开发与迭代测试中具有高效性。
• 该数据集为入侵检测与响应评估提供了可靠的基准真实标签，显著降低了结果验证中的模糊性。