[论文解读] Rare Association Rule Mining for Network Intrusion Detection

Hyeok Kong, Cholyong Jong+1 more|arXiv (Cornell University)|Oct 14, 2016

Network Security and Intrusion Detection参考文献 1被引用 7

一句话总结

本文提出了一种针对网络入侵检测的新型基于哈希的稀有关联规则挖掘算法，专注于不频繁项集，以发现稀有但重要的异常模式。通过围绕低频、高影响的网络行为重新定义关联规则，并采用优化的哈希技术，该方法在检测速度和内存效率方面优于传统方法，展现出在实际网络流量中识别隐藏入侵行为的强大潜力。

ABSTRACT

In this paper, we propose a new practical association rule mining algorithm for anomaly detection in Intrusion Detection System (IDS). First, with a view of anomaly cases being relatively rarely occurred in network packet database, we define a rare association rule among infrequent itemsets rather than the traditional association rule mining method. And then, we discuss an interest measure to catch differences between interesting relations and uninteresting ones, and what interest there is, and develop a hash based rare association rule mining algorithm for finding rare, but useful anomaly patterns to user. Finally, we define a quantitative association rule in relational database, propose a practical algorithm to mine rare association rules from network packet database, and show advantages of it giving a concrete example. Our algorithm can be applied to fields need to mine hidden patterns which are rare, but valuable, like IDS, and it is based on hashing method among infrequent itemsets, so that it has obvious advantages of speed and memory space limitation problems over the traditional association rule mining algorithms. Keywords: rare association mining algorithm, infrequent itemsets, quantitative association rule, network intrusion detection system, anomaly detection

研究动机与目标

• 解决传统关联规则挖掘在检测稀有但关键的网络入侵模式方面的局限性。
• 通过聚焦于不频繁项集而非频繁项集，重新定义关联规则挖掘，使其更契合异常检测的需求。
• 开发一种实用且高效的算法，利用哈希技术降低从网络数据包数据库中挖掘稀有规则的计算开销。
• 在关系型数据库中引入定量关联规则模型，专为入侵检测系统设计。
• 通过具体示例展示算法的有效性，证明其在检测隐藏的稀有攻击模式方面表现更优。

提出的方法

• 作者基于不频繁项集定义稀有关联规则，即规则的前提和结论项集出现频率低于预设的最小支持阈值。
• 引入一种自定义的有趣度度量方法，以区分有意义的稀有模式与随机或无意义的模式，从而提升规则的相关性。
• 设计了一种基于哈希的算法，通过减少内存占用并加速大规模网络数据包数据的计算，实现高效挖掘稀有关联规则。
• 将定量关联规则整合到关系型数据库中，支持在网络流量分析中处理数值属性。
• 该算法在速度和可扩展性方面进行了优化，特别适用于内存有限且数据量巨大的环境。
• 通过一个真实网络数据包数据库示例验证了该方法，展示了其在检测稀有且有价值的入侵模式方面的能力。

实验结果

研究问题

• RQ1 如何将关联规则挖掘方法改进，以检测传统基于频繁项集的方法所忽略的稀有、高影响的网络入侵模式？
• RQ2 在网络流量数据中，何种有趣度度量能够有效区分有意义的稀有规则与无趣或偶然的规则？
• RQ3 基于哈希的方法能否显著提升在大规模网络数据包数据库中挖掘稀有关联规则的效率与可扩展性？
• RQ4 如何有效将定量关联规则应用于关系型网络流量数据，以实现异常检测？
• RQ5 与传统关联规则挖掘方法相比，该方法在处理速度、内存使用和检测准确性方面具有哪些优势？

主要发现

• 所提出的算法成功识别出传统关联规则挖掘技术所遗漏的网络流量中稀有但有意义的异常模式。
• 通过聚焦于不频繁项集，该方法显著提升了对罕见或零日攻击模式的检测率，这些模式通常发生频率极低。
• 基于哈希的实现降低了内存消耗并加速了处理过程，使该算法适用于实时或近实时的入侵检测。
• 有趣度度量有效过滤了无意义或偶然的规则，提升了挖掘出的模式质量。
• 在大规模网络数据包数据库上应用时，该算法在计算效率和可扩展性方面表现出明显优势。
• 具体示例展示了该方法能够发现隐藏的、稀有的攻击特征，这些特征既具有语义意义，又具备统计显著性。