[论文解读] Self-Supervised and Interpretable Anomaly Detection using Network Transformers

Daniel Marino, Chathurika S. Wickramasinghe+2 more|arXiv (Cornell University)|Feb 25, 2022

Anomaly Detection Techniques and Applications被引用 10

一句话总结

本文提出网络变换器（NeT），一种用于网络流量异常检测的自监督、可解释深度学习模型，该模型利用计算机网络的图结构。通过使用基于Transformer的架构从原始数据包中学习分层特征，NeT能够在不依赖标注数据的情况下实现异常检测，同时识别受影响的设备和连接，实现高可解释性。

ABSTRACT

Monitoring traffic in computer networks is one of the core approaches for defending critical infrastructure against cyber attacks. Machine Learning (ML) and Deep Neural Networks (DNNs) have been proposed in the past as a tool to identify anomalies in computer networks. Although detecting these anomalies provides an indication of an attack, just detecting an anomaly is not enough information for a user to understand the anomaly. The black-box nature of off-the-shelf ML models prevents extracting important information that is fundamental to isolate the source of the fault/attack and take corrective measures. In this paper, we introduce the Network Transformer (NeT), a DNN model for anomaly detection that incorporates the graph structure of the communication network in order to improve interpretability. The presented approach has the following advantages: 1) enhanced interpretability by incorporating the graph structure of computer networks; 2) provides a hierarchical set of features that enables analysis at different levels of granularity; 3) self-supervised training that does not require labeled data. The presented approach was tested by evaluating the successful detection of anomalies in an Industrial Control System (ICS). The presented approach successfully identified anomalies, the devices affected, and the specific connections causing the anomalies, providing a data-driven hierarchical approach to analyze the behavior of a cyber network.

研究动机与目标

• 解决现有黑箱机器学习模型在网络安全异常检测中可解释性不足的问题。
• 开发一种不仅能检测异常，还能识别具体受影响设备和连接的方法。
• 通过自监督学习实现无需标注数据的训练。
• 将网络通信的固有图拓扑结构融入模型，以提升可解释性。
• 提供分层特征表示，支持多粒度分析。

提出的方法

• 该模型通过按源地址和目标地址对数据包进行分组，将原始网络数据包处理为通信图。
• 基于Transformer的神经网络从序列化数据包数据中学习网络图中节点和边的嵌入表示。
• 聚合模块提取表示网络级、设备级和连接级行为的分层特征。
• 使用对比学习目标在无标注数据上进行自监督预训练，以学习有意义的表示而无需真实标签。
• 在分层特征上使用无监督模型（OCSVM、LOF、AE）进行下游异常检测。
• 端到端可微分的流水线支持从全局异常回溯至单个节点和连接，以实现可解释性。

实验结果

研究问题

• RQ1 自监督深度学习模型是否能在保留图结构可解释性的同时检测网络异常？
• RQ2 分层特征提取在多粒度层级上识别异常根本原因方面的有效性如何？
• RQ3 自监督预训练策略在无标注数据下对异常检测性能的提升程度如何？
• RQ4 模型内部表示是否可用于解释异常涉及的具体设备和连接？
• RQ5 将网络拓扑结构整合到模型架构中，与黑箱模型相比，是否显著提升了诊断能力？

主要发现

• 网络变换器（NeT）仅使用无标注数据即成功检测到工业控制系统（ICS）网络中的异常。
• 该模型通过识别导致异常的具体设备和连接，提供了可解释的结果，支持针对性诊断。
• 分层特征提取支持从全局网络行为到单个节点和边活动的多粒度分析。
• 自监督预训练策略实现了无需标注异常样本的有效表示学习。
• 该方法从原始数据包字节到全局网络表示实现了端到端可微分流水线，支持多层级可解释性。
• 将图结构整合到Transformer架构中，显著增强了模型的可解释性和诊断实用性。