[论文解读] Reconstruction-based LSTM-Autoencoder for Anomaly-based DDoS Attack Detection over Multivariate Time-Series Data

Yuanyuan Wei, Julian Jang‐Jaccard+4 more|arXiv (Cornell University)|Apr 21, 2023

Network Security and Intrusion Detection被引用 6

一句话总结

本文提出了一种基于重建的LSTM-自编码器（LSTM-AE）模型，用于在多变量时间序列网络流量中检测异常，以识别DDoS攻击。通过利用LSTM单元捕捉长期时间依赖性，并利用自编码器计算重建误差以进行异常评分，该模型实现了超过99%的准确率，尤其在LDAP攻击检测方面表现卓越，准确率达到99.96%，精确率达到99.99%。

ABSTRACT

A Distributed Denial-of-service (DDoS) attack is a malicious attempt to disrupt the regular traffic of a targeted server, service, or network by sending a flood of traffic to overwhelm the target or its surrounding infrastructure. As technology improves, new attacks have been developed by hackers. Traditional statistical and shallow machine learning techniques can detect superficial anomalies based on shallow data and feature selection, however, these approaches cannot detect unseen DDoS attacks. In this context, we propose a reconstruction-based anomaly detection model named LSTM-Autoencoder (LSTM-AE) which combines two deep learning-based models for detecting DDoS attack anomalies. The proposed structure of long short-term memory (LSTM) networks provides units that work with each other to learn the long short-term correlation of data within a time series sequence. Autoencoders are used to identify the optimal threshold based on the reconstruction error rates evaluated on each sample across all time-series sequences. As such, a combination model LSTM-AE can not only learn delicate sub-pattern differences in attacks and benign traffic flows, but also minimize reconstructed benign traffic to obtain a lower range reconstruction error, with attacks presenting a larger reconstruction error. In this research, we trained and evaluated our proposed LSTM-AE model on reflection-based DDoS attacks (DNS, LDAP, and SNMP). The results of our experiments demonstrate that our method performs better than other state-of-the-art methods, especially for LDAP attacks, with an accuracy of over 99.

研究动机与目标

• 解决传统统计方法和浅层机器学习方法在检测未见过或零日DDoS攻击方面的局限性。
• 通过结合LSTM与自编码器架构，克服RNN中的梯度消失问题以及自编码器对异常的敏感性。
• 开发一种深度学习模型，能够学习多变量网络流量中的复杂时间模式，实现稳健的异常检测。
• 利用CICDDoS2019数据集提升对基于反射的DDoS攻击（DNS、LDAP、SNMP）的检测性能。
• 通过重建误差分布确定最优阈值，以最小化误报率，同时最大化恶意流量的检测率。

提出的方法

• 采用深层自编码器架构，使用双向LSTM编码器和对称解码器，以重建输入的时间序列序列。
• 将重建误差（即原始序列与重建序列之间的均方误差（MSE））作为异常评分。
• 在CICDDoS2019数据集的多变量时间序列网络流数据（包括良性和攻击流量）上端到端训练LSTM-AE模型。
• 对良性流量的重建误差分布应用阈值机制以分类异常，最优阈值通过验证确定。
• 以时间窗口滑动序列（如数据包计数、字节计数、持续时间等）作为模型输入，窗口长度测试为10、50和100。
• 优化超参数，包括学习率（0.001、0.0001、0.00001），以平衡收敛速度与检测性能。

实验结果

研究问题

• RQ1 与传统浅层学习方法相比，混合LSTM-AE模型是否能更有效地检测之前未见过的DDoS攻击？
• RQ2 在所提出的LSTM-AE模型中，良性与恶意流量序列的重建误差有何差异？
• RQ3 在不同DDoS攻击类型（DNS、LDAP、SNMP）下，实现高检测准确率的最优时间窗口长度是多少？
• RQ4 不同学习率如何影响模型的收敛性、重建误差和检测性能？
• RQ5 该模型在检测基于反射的DDoS攻击方面，相较于最先进深度学习模型，优势有多大？

主要发现

• LSTM-AE模型在检测基于LDAP的DDoS攻击时，实现了99.96%的准确率、99.99%的精确率、99.93%的召回率和99.96%的F1-score，优于所有对比的最先进方法。
• 对于DNS和SNMP攻击，模型分别获得了97.14%和97.75%的AUC-ROC，其中在时间窗口长度为10时观察到最高的AUC-ROC。
• 模型在不同学习率下表现出稳健性，0.001学习率在速度与性能之间达到最佳平衡，而0.00001学习率则显著延长了训练时间。
• 攻击样本的重建误差始终高于良性流量，验证了模型基于重建保真度区分异常的能力。
• 模型在LDAP攻击检测中表现最佳，F1-score和AUC-ROC均超过99.9%，表明其在复杂攻击模式上具有强大的泛化能力。
• 模型在不同时间窗口长度下性能稳定，当窗口大小从10增加到100时，指标仅出现轻微下降，表明其具备可扩展性和鲁棒性。