[论文解读] PCkAD: an unsupervised intrusion detection technique exploiting within payload n-gram location distribution.

Fabrizio Angiulli, Luciano Argento+1 more|arXiv (Cornell University)|Dec 11, 2014

Network Security and Intrusion Detection参考文献 9被引用 3

一句话总结

本文提出PCkAD，一种基于无监督异常检测的入侵检测技术，通过分析应用层协议（如HTTP和FTP）报文载荷中n-gram位置分布来检测基于内容的攻击。通过针对每种协议和报文长度的固定长度载荷块建模字节序列模式，PCkAD在保持极低误报率的同时实现了高检测准确率。

ABSTRACT

Signature-based and protocol-based intrusion detection systems (IDS) are employed as means to reveal content-based network attacks. Such systems have proven to be effective in identifying known intrusion attempts and exploits but they fail to recognize new types of attacks or carefully crafted variants of well known ones. This paper presents the design and the development of an anomaly-based IDS technique which is able to detect content-based attacks carried out over application level protocols, like HTTP and FTP. In order to identify anomalous packets, the payload is split up in chunks of equal length and the n-gram technique is used to learn which byte sequences usually appear in each chunk. The devised technique builds a different model for each pair of protocol of interest and packet length, in terms of number of chunks, and use them to classify the incoming traffic. Models are build by means of an unsupervised approach. Experimental results witness that the technique achieves an excellent accuracy with a very low false positive rate.

研究动机与目标

• 解决基于签名和协议的IDS在检测新型或混淆攻击方面的局限性。
• 开发一种对HTTP和FTP等应用层协议有效的基于异常检测的技术。
• 使用无监督学习建模载荷内容模式，而无需依赖标注的攻击数据。
• 在保持高检测准确率的同时降低误报率，以应对未知攻击变种。

提出的方法

• 将网络报文的载荷划分为等长块，以支持局部模式分析。
• 对每个块应用n-gram技术，以提取并学习频繁的字节序列模式。
• 针对每种协议与报文长度组合（以块数计）分别构建模型。
• 采用无监督学习方法，基于正常流量模式构建模型，无需标注的攻击样本。
• 通过将新流入流量的块内n-gram分布与学习到的模型进行比较，完成分类。
• 当载荷的n-gram分布与对应模型中的预期分布显著偏离时，即判定为异常。

实验结果

研究问题

• RQ1 无监督方法能否有效检测应用层协议中的未知内容基于攻击？
• RQ2 在固定载荷块中对n-gram分布进行建模，能否有效识别新型或混淆的攻击变种？
• RQ3 此类基于异常的系统中，检测准确率与误报率之间存在何种权衡？
• RQ4 协议特异性和长度特异性的模型能否提升对多样化流量模式的检测精度？

主要发现

• 所提出的PCkAD技术在应用层协议的内容基于攻击检测中实现了高检测准确率。
• 系统表现出极低的误报率，表明其在正常与异常流量区分方面具有极强的精确性。
• 采用协议和长度特异性模型可提升检测性能，有效捕捉协议特异的载荷结构。
• 无监督模型训练使系统无需依赖标注的攻击样本即可实现检测，从而提升了对新型威胁的适应能力。