[论文解读] Omni SCADA Intrusion Detection Using Deep Learning Algorithms

Jun Gao, Luyun Gan+6 more|arXiv (Cornell University)|Aug 6, 2019

Network Security and Intrusion Detection参考文献 25被引用 9

一句话总结

本文提出了一种用于SCADA网络的集成深度学习入侵检测系统（IDS），结合前馈神经网络（FNN）与长短期记忆（LSTM）网络，以检测时间上无关和相关的网络攻击。FNN-LSTM集成模型在检测各类攻击（包括DoS和MITM攻击）时，F1分数达到99.68% ± 0.04%，优于单一模型，展现出卓越的鲁棒性与全面检测能力。

ABSTRACT

We investigate deep learning based omni intrusion detection system (IDS) for supervisory control and data acquisition (SCADA) networks that are capable of detecting both temporally uncorrelated and correlated attacks. Regarding the IDSs developed in this paper, a feedforward neural network (FNN) can detect temporally uncorrelated attacks at an {F$_{1}$} of {99.967${\pm}$0.005\%} but correlated attacks as low as {58${\pm}$2\%}. In contrast, long-short term memory (LSTM) detects correlated attacks at {99.56${\pm}$0.01\%} while uncorrelated attacks at {99.3${\pm}$0.1\%}. Combining LSTM and FNN through an ensemble approach further improves the IDS performance with {F$_{1}$} of {99.68${\pm}$0.04\%} regardless the temporal correlations among the data packets.

研究动机与目标

• 解决传统基于签名的IDS在检测SCADA系统中未知或演化的网络攻击时的局限性。
• 克服标准前馈网络在建模网络流量时间依赖性方面的不足，尤其针对DoS和MITM攻击。
• 开发一种统一的、全类型检测的IDS，利用深度学习技术识别时间上无关和相关的攻击。
• 通过集成学习结合FNN（用于无关攻击）与LSTM（用于相关攻击）的优势，提升检测准确率并减少误报。
• 在真实SCADA测试平台上，基于Modbus/TCP流量在多种攻击场景下验证所提模型的有效性。

提出的方法

• 在数据包特征上训练前馈神经网络（FNN），以检测时间上无关的攻击，如泵速操控和水箱液位异常。
• 训练长短期记忆（LSTM）网络以建模跨数据包的时间模式，从而检测相关攻击，如DoS和MITM。
• 通过将FNN和LSTM的输出作为输入特征，输入多层感知机，构建集成模型以实现联合分类。
• 使用来自真实SCADA测试平台的Dataset I和II——包含正常流量、时间相关攻击和无关攻击流量——进行训练与测试，协议为Modbus/TCP。
• 采用10折交叉验证，对各类攻击类型评估宏平均精确率、召回率和F1分数。
• 采用多分类框架，以区分不同攻击类型，包括CRC、SCAN、MITM和DoS。

实验结果

研究问题

• RQ1 基于深度学习的IDS能否有效检测SCADA网络中时间上无关和相关的攻击？
• RQ2 FNN在检测具有不同时间依赖性的攻击时，其性能与LSTM相比如何？
• RQ3 FNN与LSTM的集成模型能否在多种攻击类型下提升整体检测准确率与鲁棒性？
• RQ4 手工设计的时间特征或模型架构选择在多大程度上影响DoS和MITM攻击的检测性能？
• RQ5 该集成模型是否能在不牺牲泛化能力的前提下，保持在各类攻击类别中的高性能？

主要发现

• FNN在时间上无关攻击上的F1分数为99.967% ± 0.005%，但在相关攻击上的F1分数仅为58% ± 2%，表明其时间建模能力差。
• LSTM在相关攻击上的F1分数为99.56% ± 0.01%，在无关攻击上的F1分数为99.3% ± 0.1%，展现出强大的时间模式识别能力。
• FNN-LSTM集成模型性能最高，F1分数达99.68% ± 0.04%，在所有攻击类型上均优于单一模型。
• 混淆矩阵显示，FNN将5,044.7个正常数据包错误标记为攻击，将13,510.4个攻击数据包错误标记为正常，凸显其在相关流量上的泛化能力差。
• LSTM将错误标记的正常数据包减少至仅105.0个，攻击数据包错误标记为正常的数量也降至128.4个，证实其在时间模式上的优越性能。
• 集成模型始终优于单独的FNN与LSTM，其宏平均F1为99.68% ± 0.04%，精确率为99.76% ± 0.05%，召回率为99.57% ± 0.03%。