[论文解读] Towards an Effective Zero-Day Attack Detection Using Outlier-Based Deep Learning Techniques.

Hanan Hindy, Robert Atkinson+4 more|arXiv (Cornell University)|Jun 27, 2020

Anomaly Detection Techniques and Applications被引用 10

一句话总结

本文提出了一种基于深度自编码器的入侵检测系统（IDS），通过利用异常值学习来提升零日攻击的检测能力。通过重建正常网络流量并将高重建误差的样本标记为异常，该模型在NSL-KDD数据集上实现了89–99%的准确率，在CICIDS2017数据集上实现了75–98%的准确率，在复杂零日攻击场景下优于单类SVM，同时将误报率降至最低。

ABSTRACT

Machine Learning (ML) and Deep Learning (DL) have been broadly used for building Intrusion Detection Systems (IDS). The continuing increase in new unknown cyberattacks requires corresponding improvements to the performance of IDS solutions at identifying new zero-day attacks. Therefore, the need for robust IDS capable of flagging zero-day attacks is emerging. Current outlier-based zero-day detection research suffers from high false-negative rates, thus limiting their use and performance. In this paper, an autoencoder implementation to detect zero-day attacks is proposed. The aim is to build an IDS model with high detection rate while keeping false-negative rate at a minimal. Two mainstream IDS datasets are used for evaluation; CICIDS2017 and NSL-KDD. To demonstrate the efficiency of our model, we compare its results against a state of the art One-Class Support Vector Machine (SVM). The manuscript highlights the efficiency of One-Class SVM when zero-day attacks are distinctive from normal behaviour. However, the proposed model benefits greatly from the encoding-decoding capabilities of autoencoders. The results show that autoencoders are well-suited at detecting zero-day attacks, thus, mitigating their effect. The results reached a zero-day detection accuracy of [89% - 99%] for the NSL-KDD dataset and [75% - 98%] for the CICIDS2017 dataset. The results demonstrate that the autoencoder performs better when faced with complex zero-day attacks. Finally, the trade-off between false-positive rate and detection accuracy is also highlighted. The source code for building and evaluating the proposed models will be made available through an open-source GitHub repository.

研究动机与目标

• 解决现有基于异常值的零日检测方法中误报率过高的问题。
• 提升入侵检测系统（IDS）对未知网络攻击的检测性能。
• 开发一种深度学习模型，通过学习正常流量模式有效识别零日攻击。
• 证明自编码器在检测复杂零日威胁方面优于传统单类SVM。
• 在零日攻击检测中实现检测准确率与误报率之间的平衡。

提出的方法

• 采用深度自编码器架构，学习正常网络流量的低维表示。
• 仅使用正常（良性）流量对自编码器进行训练，以最小化合法数据的重建误差。
• 将重建误差较高的网络实例标记为潜在的零日攻击，将其视为异常值。
• 在两个标准IDS数据集（CICIDS2017和NSL-KDD）上评估模型性能，仅使用正常流量进行训练。
• 在相同评估条件下与最先进的单类SVM基线模型进行性能对比。
• 优化超参数，以在检测准确率与误报率之间取得平衡，重点关注实际部署可行性。

实验结果

研究问题

• RQ1 基于自编码器的模型是否能在标准IDS数据集上实现比单类SVM更高的零日检测准确率？
• RQ2 与传统异常检测方法相比，自编码器模型在复杂且此前未见过的零日攻击模式下的表现如何？
• RQ3 所提出的基于自编码器的IDS中，误报率与检测准确率之间的权衡关系如何？
• RQ4 自编码器的编码-解码能力在多大程度上提升了网络流量中的异常检测能力？
• RQ5 当面对多样化且不断演变的零日攻击变种时，自编码器模型的鲁棒性如何？

主要发现

• 基于自编码器的IDS在NSL-KDD数据集上实现了89–99%的零日检测准确率，显著优于基线方法，尤其在复杂场景下表现突出。
• 在CICIDS2017数据集上，该模型的检测准确率范围为75–98%，展现出在多种攻击类型下的强大性能。
• 与单类SVM相比，自编码器模型表现出更优的性能，尤其在检测细微且复杂的零日攻击方面。
• 该模型保持了较低的误报率，表明其在识别未知威胁方面具有更高的可靠性。
• 重建误差指标有效捕捉了异常情况，证实了自编码器在基于异常值的零日检测中的适用性。
• 误报率与检测准确率之间的权衡是可控的，模型在实现高检测率的同时未产生过多误报。