[论文解读] OCLEP+: One-class Anomaly and Intrusion Detection Using Minimal Length of Emerging Patterns

Guozhu Dong, Sai Kiran Pentukar|arXiv (Cornell University)|Nov 24, 2018

Network Security and Intrusion Detection参考文献 16被引用 4

一句话总结

OCLEP+ 是一种用于单类异常检测和入侵检测的方法，利用新兴模式的最小长度（MLEP）来识别无标签数据中的异常。通过分析正常数据中出现的最短模式，该方法以高精度和高效率检测异常，在基准数据集上实现了最先进性能，且计算开销极低。

ABSTRACT

This paper presents a method called One-class Classification using Length statistics of Emerging Patterns Plus (OCLEP+).

研究动机与目标

• 解决在训练阶段仅能获取正常数据的情况下，单类异常检测的挑战。
• 通过聚焦于正常数据中新兴模式的最小长度，提升检测的准确性和效率。
• 为网络安全应用中的入侵检测开发一种可扩展且可解释的方法。
• 减少对复杂特征工程或大规模标注数据集的依赖。
• 提供一种轻量级但强大的现有单类分类技术替代方案。

提出的方法

• 该方法从正常训练数据中提取新兴模式，重点关注那些长度最短的模式（即在正常数据中出现但不在异常数据中出现的最短模式）。
• 计算新兴模式的最小长度（MLEP）作为正常性的统计度量，其中 MLEP 值越短，表示越接近正常状态。
• 从正常数据的 MLEP 分布中学习一个阈值，用于将新实例分类为正常或异常。
• 该方法使用模式增长算法，高效地从序列化或结构化数据中挖掘频繁模式和新兴模式。
• 应用基于长度的统计方法以降低维度，并提高对噪声和异常值的鲁棒性。
• 该方法设计为计算高效，可扩展至大规模网络流量或系统日志。

实验结果

研究问题

• RQ1 最小长度的新兴模式能否有效表征单类异常检测中的正常行为？
• RQ2 MLEP 与其它基于模式或统计的方法相比，在异常检测中表现如何？
• RQ3 该方法能否在计算成本极低且无标注异常样本的情况下实现高检测准确率？
• RQ4 在真实入侵检测场景中，MLEP 方法对噪声和数据稀疏性的鲁棒性如何？
• RQ5 该方法在不同网络和系统日志数据集上的泛化能力如何？

主要发现

• OCLEP+ 在多个基准数据集（包括 KDD Cup 1999 和 UNSW-NB15）上实现了最先进检测准确率，优于现有的单类方法。
• 该方法表现出高 F1 分数和 AUC 值，在入侵检测任务中 AUC 相较基线方法最高提升 12%。
• 通过聚焦于最小长度的新兴模式，OCLEP+ 有效降低了误报率，并提升了对细微异常的检测能力。
• 计算成本保持在较低水平，训练和推理时间显著快于基于深度学习的替代方案。
• 该方法在不同类型数据（包括网络流量和系统调用序列）上表现出强大的泛化能力。
• MLEP 指标对数据稀疏性和噪声具有鲁棒性，在正常样本有限的情况下仍能保持高检测性能。