[论文解读] Sequence Aggregation Rules for Anomaly Detection in Computer Network Traffic

Benjamin J. Radford, Bartley D. Richardson+1 more|arXiv (Cornell University)|May 9, 2018

Network Security and Intrusion Detection参考文献 7被引用 49

一句话总结

本论文在 CICIDS2017 网络流量数据上评估五种序列聚合规则与一个基于频率的无监督异常检测基线，结果发现简单的频率模型在大多数攻击情形下往往匹配或超越 LSTM 模型。

ABSTRACT

We evaluate methods for applying unsupervised anomaly detection to cybersecurity applications on computer network traffic data, or flow. We borrow from the natural language processing literature and conceptualize flow as a sort of "language" spoken between machines. Five sequence aggregation rules are evaluated for their efficacy in flagging multiple attack types in a labeled flow dataset, CICIDS2017. For sequence modeling, we rely on long short-term memory (LSTM) recurrent neural networks (RNN). Additionally, a simple frequency-based model is described and its performance with respect to attack detection is compared to the LSTM models. We conclude that the frequency-based model tends to perform as well as or better than the LSTM models for the tasks at hand, with a few notable exceptions.

研究动机与目标

• 推动在网络流量数据上的无监督异常检测以用于网络安全。
• 将网络流量建模为一种语言，并评估五种序列聚合规则。
• 将基于 LSTM 的序列模型与简单的基于频率的基线进行比较。
• 在 CICIDS2017 上评估两组特征集（protobyte 序列和 service port 序列）。
• 就聚合策略及对异常检测的实际影响提供指导。

提出的方法

• 使用两组特征集将流量数据表示为标记序列：protobyte 令牌和 service port 令牌。
• 定义五种聚合规则（源、目的地、二元组、内部、外部），并按相应单位创建按小时分组的序列。
• 使用两层双向 LSTM 架构，外加嵌入层和用于多类预测的密集输出层来建模序列。
• 基于在同一序列中给定前序令牌时正确令牌的预测概率，在令牌级别对异常进行评分。
• 将基于 LSTM 的分数与基于频率的基线进行比较，并对样本外令牌通过 AUC 进行评估。
• 使用自助重采样训练多个模型并报告各次运行的平均 AUC。

实验结果

研究问题

• RQ1 在训练时不使用攻击标签的情况下，无监督的序列建模是否能够检测网络流量数据中的攻击？
• RQ2 不同的聚合规则在不同特征集上如何影响异常检测性能？
• RQ3 简单的基于频率的模型在 CICIDS2017 的流量数据上是否与 LSTM 模型同样有效或更好？
• RQ4 在 protobyte 与基于端口的序列表示下，哪些攻击类型最易检测、哪些最难检测？
• RQ5 在现实部署中，模型选择和特征设计有哪些实际意义？

主要发现

• 在聚合规则和特征集之间，基于频率的模型往往与最佳的 LSTM 模型表现相当甚至超越。
• 在使用 protobyte 序列时，LSTM 能提高对 SQL Injection 和 Infiltration 的检测。
• 端口序列在多种攻击中均能实现强检测，使用频率模型时 Heartbleed 和 Port Scan 的 AUC 值很高。
• Heartbleed 在不同模型下均能以高 AUC（0.95–1.0）稳定检测到。
• 对于许多攻击，端口序列分析通常比 protobyte 序列获得更高的平均 AUC。
• 由一个 LSTM 达到的最高平均 AUC 为 0.71（外部 IP 聚合），而端口-频率模型的平均 AUC 约为 0.87。
• 作者建议使用集成异常检测来利用跨模型和特征集的优势。