[论文解读] Robustness Evaluation of Deep Unsupervised Learning Algorithms for Intrusion Detection Systems

D’Jeff K. Nkashama, Arian Soltani+4 more|arXiv (Cornell University)|Jun 25, 2022

Network Security and Intrusion Detection被引用 7

一句话总结

本文评估了六种最先进的深度无监督异常检测模型在入侵检测任务中面对训练数据污染时的鲁棒性。研究发现，即使是最先进的模型在投毒攻击下性能也显著下降，凸显了在网络安全机器学习系统中防范数据扰动的自防御机制的迫切需求。

ABSTRACT

Recently, advances in deep learning have been observed in various fields, including computer vision, natural language processing, and cybersecurity. Machine learning (ML) has demonstrated its ability as a potential tool for anomaly detection-based intrusion detection systems to build secure computer networks. Increasingly, ML approaches are widely adopted than heuristic approaches for cybersecurity because they learn directly from data. Data is critical for the development of ML systems, and becomes potential targets for attackers. Basically, data poisoning or contamination is one of the most common techniques used to fool ML models through data. This paper evaluates the robustness of six recent deep learning algorithms for intrusion detection on contaminated data. Our experiments suggest that the state-of-the-art algorithms used in this study are sensitive to data contamination and reveal the importance of self-defense against data perturbation when developing novel models, especially for intrusion detection systems.

研究动机与目标

• 评估现代深度无监督异常检测模型在入侵检测系统中面对训练数据污染时的鲁棒性。
• 研究不同类型的攻击数据污染及其污染程度对真实世界网络流量数据集上模型性能的影响。
• 评估传统数据集（KDDCUP、NSL-KDD）与较新数据集（CSE-CIC-IDS2018）在反映当前网络威胁态势方面的可靠性。
• 识别在后门攻击和规避攻击背景下赋予模型对数据投毒更强鲁棒性的模型设计特征。
• 倡导在网络安全异常检测模型的训练流程中集成数据质量验证与污染检测机制。

提出的方法

• 在CSE-CIC-IDS2018、KDDCUP和NSL-KDD数据集上评估了六种深度无监督异常检测模型：ALAD、深度自编码器（DAE）、DAGMM、DSEBM、DUAD和NeuTraLAD。
• 通过向训练集中注入不同比例（1%至5%）的恶意流量样本，实施受控的数据投毒攻击，重点关注DDoS、DoS、Bot和SQL注入攻击。
• 使用F1-score、各类准确率以及正常流量与攻击流量的检测率等标准指标衡量模型性能。
• 通过仅以一种攻击类型污染训练集的消融研究，隔离特定攻击类别对性能的影响。
• 采用可视化技术分析污染引起的决策边界偏移与数据分布变化。
• 对比模型在过时数据集（KDDCUP、NSL-KDD）与更具现实性和挑战性的CSE-CIC-IDS2018数据集上的行为表现。

实验结果

研究问题

• RQ1 当在被恶意网络流量污染的数据集上训练时，最先进的深度无监督异常检测模型表现如何？
• RQ2 污染比例（1%至5%）的变化对入侵检测模型F1-score和检测准确率有何影响？
• RQ3 特定攻击类型（如DDoS、Bot、SQL注入）的污染如何差异化地影响不同模型的性能？
• RQ4 与现代数据集（如CSE-CIC-IDS2018）相比，KDDCUP和NSL-KDD等传统数据集在多大程度上未能真实反映模型的鲁棒性？
• RQ5 哪些模型设计特征（如DUAD中的基于聚类的重新评估机制）有助于提升对数据投毒攻击的鲁棒性？

主要发现

• 即使是最先进的深度无监督异常检测模型（如DAE和DAGMM），在仅含1%恶意流量污染的数据集上训练时也表现出显著的性能下降。
• 5%的攻击数据污染导致正常流量检测率下降并增加误报率，而部分攻击（如SQL注入、渗透攻击）的检测率反而提升，尽管整体准确率较低。
• 仅1%的Bot攻击污染导致DAE模型完全无法检测Bot攻击，表明存在潜在后门攻击场景，即恶意流量被错误分类为正常流量。
• 当在含1%DoS攻击污染的数据集上训练时，DAE的F1-score从63%降至50%，表明在极低污染程度下性能出现显著下降。
• DUAD由于其在数据空间和潜在空间中迭代聚类的机制，表现出相对鲁棒性，有助于在训练过程中识别并缓解污染样本。
• KDDCUP和NSL-KDD等传统数据集已不再能代表当前网络威胁，因为模型在这些数据集上表现良好，但在更具现实性的CSE-CIC-IDS2018数据集上往往表现欠佳。