[论文解读] SIGMA : Strengthening IDS with GAN and Metaheuristics Attacks

Simon Msika, Alejandro Quintero+1 more|arXiv (Cornell University)|Dec 18, 2019

Advanced Malware Detection Techniques参考文献 24被引用 4

一句话总结

SIGMA 提出了一种迭代对抗训练方法，结合生成对抗网络（GANs）与混合元启发式算法（局部搜索与遗传算法），生成逼真的对抗性攻击，用于重新训练基于机器学习的入侵检测系统（IDS）。该方法显著提升了 IDS 的鲁棒性，在仅两轮训练内即可实现高达 100% 的检测率，尤其在结合 GAN 与元启发式生成的数据时效果更佳。

ABSTRACT

An Intrusion Detection System (IDS) is a key cybersecurity tool for network administrators as it identifies malicious traffic and cyberattacks. With the recent successes of machine learning techniques such as deep learning, more and more IDS are now using machine learning algorithms to detect attacks faster. However, these systems lack robustness when facing previously unseen types of attacks. With the increasing number of new attacks, especially against Internet of Things devices, having a robust IDS able to spot unusual and new attacks becomes necessary. This work explores the possibility of leveraging generative adversarial models to improve the robustness of machine learning based IDS. More specifically, we propose a new method named SIGMA, that leverages adversarial examples to strengthen IDS against new types of attacks. Using Generative Adversarial Networks (GAN) and metaheuristics, SIGMA %Our method consists in generates adversarial examples, iteratively, and uses it to retrain a machine learning-based IDS, until a convergence of the detection rate (i.e. until the detection system is not improving anymore). A round of improvement consists of a generative phase, in which we use GANs and metaheuristics to generate instances ; an evaluation phase in which we calculate the detection rate of those newly generated attacks ; and a training phase, in which we train the IDS with those attacks. We have evaluated the SIGMA method for four standard machine learning classification algorithms acting as IDS, with a combination of GAN and a hybrid local-search and genetic algorithm, to generate new datasets of attacks. Our results show that SIGMA can successfully generate adversarial attacks against different machine learning based IDS. Also, using SIGMA, we can improve the performance of an IDS to up to 100\% after as little as two rounds of improvement.

研究动机与目标

• 解决基于机器学习的 IDS 在面对新型未见对抗性攻击时的脆弱性，特别是在网络威胁持续上升的物联网环境中。
• 通过主动在对抗性生成的攻击上训练模型，克服深度学习模型在 IDS 中的不稳定性。
• 利用迭代对抗性训练提升 IDS 对新型、未见攻击模式的鲁棒性与泛化能力。
• 探究将 GAN 生成的攻击与元启发式优化的攻击相结合，是否能比单独使用任一方法更有效地增强 IDS 的韧性。

提出的方法

• 使用生成对抗网络（GAN）生成逼真的对抗性样本，其特征与合法网络流量相似但具有恶意性。
• 采用混合元启发式算法（局部搜索与遗传算法）对生成的对抗性样本进行优化，以提升其逃避检测的能力。
• 迭代执行三阶段流程：(1) 使用 GAN 和元启发式方法生成新的对抗性攻击实例，(2) 评估当前 IDS 在这些新攻击上的检测率，(3) 使用新生成的攻击数据对 IDS 进行再训练。
• 持续循环该过程，直至检测率收敛——即连续三轮无改进，表明 IDS 已稳定并泛化至攻击模式。
• 使用组合的对抗性数据集对四种不同的 IDS 分类器（神经网络、随机森林、SVM、朴素贝叶斯）进行训练，以评估其泛化能力。
• 比较使用以下数据训练的 IDS 性能：(a) 仅 GAN 生成的数据，(b) 仅元启发式生成的数据，(c) 两者结合的数据，以分离各组件的贡献。

实验结果

研究问题

• RQ1 GAN 生成的对抗性样本是否能有效规避基于机器学习的 IDS 检测？其规避程度如何？
• RQ2 将 GAN 生成的攻击与元启发式优化的攻击结合，是否比单独使用任一方法更显著地提升 IDS 的鲁棒性？
• RQ3 SIGMA 方法在不同 IDS 架构上，多快能收敛至高检测率（例如 100%）？
• RQ4 与仅使用 GAN 训练相比，引入元启发式优化的攻击在多大程度上提升了 IDS 对未见对抗性模式的泛化能力？
• RQ5 使用对抗性样本进行迭代再训练的过程是否能有效防止对特定对抗性模式的过拟合？

主要发现

• SIGMA 方法成功生成了可规避基线 IDS 模型检测的对抗性攻击，当仅使用真实数据训练时，检测率降至接近 0%。
• 对于基于神经网络和随机森林的 IDS，SIGMA 方法在仅两轮再训练内即实现对生成攻击的 100% 检测率，显著快于仅使用 GAN 生成数据训练的模型。
• 仅使用元启发式生成数据训练的模型无法检测 GAN 生成的攻击，表明元启发式方法单独使用不足以提升鲁棒性。
• 结合 GAN 与元启发式生成数据可实现更快收敛与更高检测性能，证明了两者之间的协同增益。
• 使用 SIGMA 的迭代再训练过程有效防止了对特定对抗性模式的过拟合，提升了 IDS 对新型未见攻击变体的泛化能力。
• 该方法在四种不同 IDS 分类器上均表现出泛化能力，其中神经网络与随机森林模型的性能提升最为显著。