[论文解读] NetML: A Challenge for Network Traffic Analytics

Onur Barut, Yan Luo+3 more|arXiv (Cornell University)|Apr 25, 2020

Network Security and Intrusion Detection参考文献 22被引用 23

一句话总结

本论文介绍了NetML，一个全面的开放基准数据集，用于网络流量分析，包含三个经过筛选的数据集，总计约130万个带标签的网络流，用于恶意软件检测和应用分类。该数据集提供元数据特征、原始匿名化数据包以及基于随机森林、支持向量机和多层感知机的基线结果，旨在通过托管的挑战平台实现可复现的、基于人工智能的网络流分析研究。

ABSTRACT

Classifying network traffic is the basis for important network applications. Prior research in this area has faced challenges on the availability of representative datasets, and many of the results cannot be readily reproduced. Such a problem is exacerbated by emerging data-driven machine learning based approaches. To address this issue, we provide three open datasets containing almost 1.3M labeled flows in total, with flow features and anonymized raw packets, for the research community. We focus on broad aspects in network traffic analysis, including both malware detection and application classification. We release the datasets in the form of an open challenge called NetML and implement several machine learning methods including random-forest, SVM and MLP. As we continue to grow NetML, we expect the datasets to serve as a common platform for AI driven, reproducible research on network flow analytics.

研究动机与目标

• 解决网络流量分析（NTA）研究中缺乏标准化、开放且可复现数据集的问题。
• 为评估和比较网络流量分析中机器学习模型提供一个通用的基准平台，尤其针对恶意软件检测和应用分类任务。
• 从公开可用来源筛选并发布三个开放数据集——NetML、CICIDS2017和non-vpn2016——包含带元数据和匿名化原始数据包的带标签网络流。
• 举办公开挑战赛和排行榜，以鼓励社区参与并系统性评估新方法。
• 通过共享数据和标准化评估，为未来基于人工智能的、可复现的网络流分析研究奠定基础。

提出的方法

• 从公开来源筛选三个开放数据集：NetML（来自Stratosphere IPS）、CICIDS2017和non-vpn2016（来自ISCX-VPN-nonVPN2016）。
• 为所有数据集提取标准化的元数据流特征，如数据包数量、字节数量、持续时间以及到达间隔时间。
• 对数据进行多级标注：二分类（恶意软件/良性）、多分类（20种恶意软件类型）以及细粒度应用分类（最多31类）。
• 在所有数据集上使用随机森林、支持向量机和多层感知机（MLP）实现基线模型，用于二分类和多分类任务。
• 在GitHub上托管评估服务器和排行榜，以支持社区参与NetML Challenge 2020。
• 提供详细的特征分析和基线性能指标（F1、mAP、TPR、FAR），作为未来研究的参考基准。

实验结果

研究问题

• RQ1 标准化、开放且可复现的基准是否能提升网络流量分析中机器学习模型的评估与比较？
• RQ2 常见机器学习模型（随机森林、支持向量机、MLP）在多样化的网络流量分类任务（包括恶意软件检测和应用分类）中的表现如何？
• RQ3 类别不平衡和标注粒度对网络流分类中模型性能有何影响？
• RQ4 仅使用元数据特征在多大程度上能实现有效分类？与更丰富的特征（如TLS、DNS或HTTP）相比表现如何？
• RQ5 具有公开排行榜的社区驱动挑战平台在多大程度上能加速网络流量分析研究的进展？

主要发现

• 在NetML恶意软件检测任务中，随机森林模型表现最佳，真正例率（TPR）为0.9922，误接受率（FAR）为0.0051。
• 在CICIDS2017数据集中，MLP模型在二分类恶意软件检测中达到TPR 0.9865和FAR 0.0067，表现出良好的泛化能力。
• 在NetML数据集中，随机森林模型对DDoS类别的检测达到100%准确率，仅在ssh-patator类别中有一次误分类。
• non-vpn2016数据集上的性能显著较低，使用随机森林进行顶层分类时，最佳F1得分为0.6273，mAP为0.3257。
• 类别不平衡导致强烈的预测偏差，音频类别在non-vpn2016数据集的所有标注层级中均占据主导地位。
• 细粒度分类性能最弱，F1得分为0.2486，mAP为0.2127，表明在详细流量分类方面仍有巨大改进空间。