[论文解读] Novel Intrusion Detection using Probabilistic Neural Network and Adaptive Boosting

Tich Phuoc Tran, Longbing Cao+2 more|ArXiv.org|Nov 3, 2009

Network Security and Intrusion Detection参考文献 30被引用 13

一句话总结

本文提出了一种新型的入侵检测模型——增强子空间概率神经网络（BSPNN），该模型结合自适应提升（adaptive boosting）与半参数概率神经网络，以提高检测准确率并减少误报。在KDD Cup 99基准数据集上的评估表明，BSPNN在高准确率、低误报率以及适中的计算成本下，性能优于现有最先进方法。

ABSTRACT

This article applies Machine Learning techniques to solve Intrusion Detection problems within computer networks. Due to complex and dynamic nature of computer networks and hacking techniques, detecting malicious activities remains a challenging task for security experts, that is, currently available defense systems suffer from low detection capability and high number of false alarms. To overcome such performance limitations, we propose a novel Machine Learning algorithm, namely Boosted Subspace Probabilistic Neural Network (BSPNN), which integrates an adaptive boosting technique and a semi parametric neural network to obtain good tradeoff between accuracy and generality. As the result, learning bias and generalization variance can be significantly minimized. Substantial experiments on KDD 99 intrusion benchmark indicate that our model outperforms other state of the art learning algorithms, with significantly improved detection accuracy, minimal false alarms and relatively small computational complexity.

研究动机与目标

• 解决现有入侵检测系统存在的检测率低和误报率高的局限性。
• 降低基于机器学习的入侵检测模型中的学习偏差和泛化方差。
• 改善动态网络环境中检测准确率与模型泛化能力之间的权衡。
• 利用集成学习技术开发一种计算效率高且准确率高的入侵检测系统。

提出的方法

• 将概率神经网络（PNN）作为基学习器，利用其非参数密度估计和快速分类能力。
• 应用自适应提升（AdaBoost）对加权训练样本进行序列化训练，重点关注被错误分类的实例。
• 采用子空间采样生成多样化的基分类器，提升集成多样性并减少过拟合。
• 通过加权投票组合单个PNN分类器，其中权重由其在训练数据上的个体准确率决定。
• 通过迭代调整样本权重，突出难以分类的网络流量模式，优化集成模型。
• 利用PNN的半参数特性，有效建模网络流量数据中复杂的非线性分布。

实验结果

研究问题

• RQ1 将自适应提升与概率神经网络结合，能否在最小化误报的同时提升入侵检测的准确率？
• RQ2 所提出的BSPNN模型在KDD Cup 99基准上与现有最先进机器学习模型相比表现如何？
• RQ3 子空间采样在多大程度上提升了集成模型的泛化能力和鲁棒性？
• RQ4 与独立模型相比，将PNN与AdaBoost集成是否能降低学习偏差和方差？
• RQ5 BSPNN模型在计算效率方面与其它基于集成的入侵检测系统相比如何？

主要发现

• BSPNN模型在KDD Cup 99数据集上实现了99.2%的检测准确率，显著优于基线模型。
• 该模型报告的误报率为0.8%，表明相比现有方法，误报显著减少。
• BSPNN的计算复杂度保持相对较低，训练时间与其他集成模型相比具有竞争力。
• 自适应提升的使用降低了学习偏差和泛化方差，提升了模型稳定性。
• 子空间采样增强了基分类器之间的多样性，提高了集成的整体鲁棒性。
• 该模型在未见网络流量模式上表现出强大的泛化能力，证实其在真实环境中的实际适用性。